Google зарелизил опен-сорсные LLM (или скорее даже SLM)...

Google зарелизил опен-сорсные LLM (или скорее даже SLM) под названием Gemma!

https://blog.google/technology/developers/gemma-open-models/

Выложены модели 2B и 7B, для каждой есть обычная pretrained версия и instruction-tuned. Обучены на 2T и 6T токенов соответственно. Без фокуса на мультимодальность и мультиязычность.

Более-менее обычный декодер трансформера, контекст размером 8192 токена. Токенизатор SentencePiece, словарь 256k.

Коммерческое использование независимо от размера организации разрешено.

По бенчмаркам бьют соразмерные (и следующие) LLaMa 2.

Сразу заготовлена куча тулинга: ноутбуки, HF (https://huggingface.co/blog/gemma/) и прочее.

Репорт: https://storage.googleapis.com/deepmind-media/gemma/gemma-report.pdf