Google анонсировал новую LLM Gemini 1

Google анонсировал новую LLM Gemini 1.5 - до 1M токенов!

У гугла с неймингом продуктов и моделей большие пролемы. Давайте разбираться что за 1.5.

То что сейчас крутится у них в проде, и что я недавно тестил, Gemini Ultra (Advanced), - это Gemini 1.0. А тут анонсировали, что уже сделали новую версию - Gemini 1.5.

Что нового?
- Эта модель уже основана на Mixture of Experts (MoE).
- может работать с контекстами в длиной 1M токенов, что на порядок больше чем у конкурентов.
- Причем, токены могут быть из разных модельностей. Например, в Gemini 1.5 можно тупо загрузить видео и попросить модель проанализировать его.

В 1M токенов поместится примерно часовое видео, 11 часов аудио, более 30k строк кода или более 700к строк текста.

Подробности есть в тех-репорте (58 стр). Либо в блог блог-посте.

@ai_newz