🚨
По словам сотрудника Meta, компания планирует выпустить две младшие версии своей модели LLAMA 3 на следующей неделе. Они будут служить в качестве превью запуска самой большой версии Llama 3 (ожидается этим летом).

Согласно источникам The Information, старшая версия будет мультимодальной (тоже понимает картинки — для младших моделей этого не заявлено) и должна догнать по качеству GPT-4. Также утверждается, что она будет в 2 раза больше самой крупной LLAMA 2 — то есть иметь 140B параметров.

В компании Mistral 🇫🇷 напряглись. Интересно, удастся ли ~7B вариантам LLAMA 3 существенно обогнать свежую гугловскую Gemma v1.1?

Почему это важно? Модель LLAMA 2 долгое время была основным инструментом опенсорса и служилой базой/основой для дообучения под свои задачи. Затем пальма первенства перешла моделям Mistral, компании, основанной выходцами из Meta, которые работали над LLAMA'ми. Вероятно, в Meta очень хотели сделать большой скачок, и потому ничего долго не выпускали — важно показать, что они впереди, а не делают ещё-одну-заурядную-модель. С выходом LLAMA 3 сообщество может переехать на новую тушку, открывающую свежие возможности.