В рубрике «ненасытные» у нас сегодня OpenAI: Bloomberg...

В рубрике «ненасытные» у нас сегодня OpenAI: Bloomberg пишет, что после Нового года компания хочет привлечь инвестиции при оценке уже свыше ста миллиардов долларов. Sama, наверное, грустит, что столько продал Microsoft по весне по столь низкой оценке (тогда она была $29b, в 4 раза меньше).

Зачем столько денег? Масштабирование моделей, наращивание мощностей — это ключевые направления работы. На данный момент увеличение размера модели и набора данных (и как следствие ресурсов на тренировку: обычно соотношение первых двух один-к-одному, а ресурсы, соответственно, растут как квадрат; модель в 10 раз больше потребует в 100 раз больше мощностей) — это единственные гарантированные способы сделать модель лучше. Можно что-то исследовать, можно инженерить, но результат не гарантирован и даже не прогнозируем. А вот нарастить параметры — это всегда можно, главное решать инфраструктурные проблемы.

Разумеется, и на применение моделей (чтобы они работали в чате у вас и ещё 200 миллионов пользователей) тоже нужны мощности. Вообще разработка высокопроизводительных чипов — очень горячая тема. В октябре OpenAI запартнёрились в ОАЭ'шным фондом G42, и...сейчас от них хотят привлечь от 8 до 10 миллиардов долларов на развёртывание производства чипов, чтобы составить конкуренцию Nvidia и Google (у тех свои чипы, TPU, тоже заточены на нейронки).

На скриншоте — прогноз роста мощностей Google за счёт подключения новых TPU. Правда, смущает столь медленный рост OpenAI, не уверен, что это близко к реальности. Но в общем в гонке мощностей ТОЧНО нельзя проигрывать ни одной из компаний.