Нейролента - подборка новостей о нейронных сетях, ChatGPT

Сегодня в новостях вы прочитаете кликбейтное «Сооснователь OpenAI...

Сегодня в новостях вы прочитаете кликбейтное «Сооснователь OpenAI утверждает, что компания создала и скрывает AGI». Давайте разбираться.

Основной тезис Elon Musk (да, он был кофаундером OpenAI, но вышел в 2018м году, забрав остатки инвестиций) в том, что OpenAI перестали быть Open, и работают на самую дорогую компанию в мире, эксклюзивно предоставляя им доступ к самой мощной модели GPT-4 для генерации ещё больших доходов.

Устав OpenAI гласит, что если и когда они изобретут AGI, то они обязаны пересмотреть условия работы с инвесторами, чтобы открыть технологию всему миру и не действовать в рамках единоличного приобретения выгоды. Отчасти поэтому, кстати, так сложно было искать инвесторов — по сути, им ничего не обещали, и прямо говорили, что они могут остаться с носом
👍
а Elon говорит, что вот мол AGI есть, а человечество не получает выгоды, как так?

Вероятная причина: Elon хочет замедлить разработку OpenAI, главного конкурента Grok, языковой модели компании X.AI. Почти год назад, в марте 23го, он подписывал письмо с призывом остановить разработку моделей уровня выше GPT-4 на полгода (правда сам в это время собирал сотрудников в свою AI-компанию). Буквально на днях Musk писал, что через пару недель выйдет Grok-2 (и вероятно будет интегрирован в твиттер для суммаризации тредов, но это детали). Скорее всего, модель не достигнет уровня GPT-4, и от этого X.AI не по себе — как так, конкурент на рынке год, а они отстают?

Почему думаю, что это так: буквально неделю назад вышла Mistral Large, модель, которой пророчили дотянуться до сидящей на троне GPT-4 (ибо Mixtral уже равнялась с GPT-3.5, а там же ну вот чуть-чуть да? нет!). Казалось, что в худшем случае возьмут модель побольше и с запасом (тем более что расти есть куда — Mistral Medium, как известно из сливов, это модель на ~70B параметров), и получат прирост качества. Но этого не хватило... и в то же время как стало известно вчера, META откладывает выпуск LLAMA 3 на июль. LLAMA-1 вышла в конце февраля, LLAMA-2 в середине июля, а сейчас — пауза на год? И это при том, что были слухи про релиз в феврале? Смею предположить, что они тоже не смогли дотянуться до царицы GPT-4. Какая-то изюминка вот есть у OpenAI, которая позволила их модельке взлететь на небывалые высоты. Gemini Ultra от Google еле-еле по бенчмаркам обогнала, но по субъективным отзывам людей не значимо лучше. А ведь GPT-4 закончили тренировать в августе 2022го...представляете, какой у ребят запас?)

Вероятное развитие событий: OpenAI в коллаборации с Microsoft ещё до релиза GPT-4 проводили аналитику того, как модель справляется с экономически важными задачами — ведь это часть определения AGI («...модель может выполнять значимую часть таких задач на уровне эксперта»). Так что они могут просто эту статью показать и заявить, что согласно их тестам под их же определение модель не подходит, а значит и изменений условий быть не должно, потому дело стоит закрыть. Как мне кажется, единственный способ это опровергнуть — показать, что модель уж слишком умная и может легко заменять экспертов, что не является правдой, и потом ничего не произойдет. Musk потратит сколько-то денег на юристов и может быть на компенсации, разработка не замедлится, усё. GPT-4.5 выпустят как 2-3 конкурента окажутся вплотную или хотя бы один явно обгонит.