На Кипре сегодня выходной, но есть несколько новостей,...

На Кипре сегодня выходной, но есть несколько новостей, которыми хотел поделиться все равно
1. Илон Маск и его x.ai, как и обещал, выложил веса их ИИ Grok https://github.com/xai-org/grok-1

- 314B параметров! Весит почти 300 гигабайт
- Это Mixture of Experts модель, то есть 8 подсетей, из которых под конкретную задачу подбирается 2, позволяет на более слабом (ха-ха) железе запускать.
- Лицензия позволяет коммерческое использование
- Модель базовая, то есть просто дополняет текст следующим словом, на диалоговый режим и следование инструкциям она не заточена, но базовые модели как раз самые тяжелые, добивание под задачи может стоить десятки и сотни тысяч долларов, а вот тренировка базовой модели - миллионы.
- По бенчмаркам между 3.5 и 4 GPT (73% on MMLU, 62.9% GMSK, 63.2% HumanEval)
- 8K контекст, но есть возможность расширения

Короче, это круто, а то все Llama, да Llama, никакой конкуренции, я думаю нас ждет много классных опенсорсных решений на ее основе.