— Текущий подход OpenAI к разворачиванию моделей — итеративный

— Текущий подход OpenAI к разворачиванию моделей — итеративный. Они стараются не вываливать сразу большое грандиозное обновление, а двигаются шагами. Условно не показывали сразу GPT-4, а сделали GPT-1-2-3, 3.5 (и каждый мог и пощупать), и тем не менее всё равно мир воспринимает это как технологические скачкИ. Возможно, нужно релизиться чаще (ждём GPT-4.71). И вот Sam пообещал, что в этом году будет релизнута одна крутая модель. Моя ставка что это Jukebox v2, модель для работы с аудио (текст-картинки-видео уже покрыты, а v1 вышла аж в 2020м). Сможет ли она генерить целые подкасты? Узнаем!
— Так что и до релиза GPT-5 (или чего-то аналогичного, как бы оно ни называлось) будет ещё несколько релизов, которыми важно поделиться.
— $7T да? да? ну да же? Да или нет, не ясно, но Sama верит, что вычислительные мощности могут стать новой валютой в будущем, причём одной из самых важных. Буквально на каждый чих нам нужны мощности. Это верно и сейчас (компьютеры и смартфоны), но кардинально вырастет в будущем. Если сейчас сделать 30 миллиардов чипов для телефонов — их некуда будет ставить, никто не будет покупать их в 10 раз больше. Но вот если можно будет арендовать мощности для замены части работников и выполнения интеллектуальных задач — то это совсем не то же самое. Ставка Sam на то, что нам потребуется невообразимо гигантское количество мощностей, и что на это будет спрос. Настолько большое, что сейчас про это попросту сложно рассуждать.
— Но откуда же взять энергию? Кто куда, а Sama верит в термояд (конечно, не зря же он закинул пару сотен миллионов инвестиций в Helion)
— На подкасте уделили минут 10 общению про Google и замену поисковиков (Sama назвал такую задачу неамбициозной, несоразмерной тому, что мы ждём от AGI). Но по итогу всё перешло к обсуждению бизнес-моделей и рекламы, и Altman говорит, что ему не нравится реклама. Подписочная модель, когда ты платишь и точно знаешь, что не ты являешься продуктом — крутая, и он верит, что OpenAI можно развивать дальше без рекламы, и даже так можно будет окупать все вычислительные мощности.
— в этом же контексте обсудили факапы Google с запуском модели генерации изображений, встроенной в Gemini, и Sam закинул классную идею. Перед публикацией модели можно выписать список желаемого поведения, обсудить его с общественностью, скорректировать политику за несколько итераций и затем оценивать модель по соответствию такому списку. Тогда должно быть ясно, это баг, это фича, или это проблема политики поведения. OpenAI в этом направлении уже делает шаги, см. тут.
— Как вы знаете, OpenAI перестали заниматься робототехникой. Недавно они вложились в Figure.ai, и вот Sama говорит, что они рано или поздно вернутся, потому как хочется, чтобы условный AGI мог не только людям команды раздавать что делать, но и сам пошёл выполнять какую-то работу. Страшно очень страшно мы не знаем что это такое

🤯
— Sama слегка проапдейтил своё определение AGI и теперь говорит про более глобальные штуки. Теперь технологии, чтобы считаться AGI по Altman'у, надо, чтобы она делала «major transition». Как минимум — существенное влияние на мировую экономику. GPT-4 не изменила ничего, просто удобный инструмент, да, увеличивает производительность, но не радикально. Я пишу «слегка» потому, что и старое определение про выполнение половины экономически важных задач тоже подразумевает влияние на экономику, так что разница минимальна. Тут главное не задирать планку.
— отвечая на вопрос про свою власть и доверие ему как CEO компании, делающей AGI, Sam сделал сноску по поводу ситуации со своим увольнением в ноябре. Несмотря на то, что борд имел закрепленные законом и уставом права уволить его (что и было сделано), на практике это не до конца сработало. И это — провал их подхода к управлению. И такое надо исправить с будущими изменениями в структуре. Даже после всего произошедшего Sam не хочет получать какие-то суперголоса и бразды управления AGI, и это вообще не должно доставаться ни одному человеку (только группе людей). Но рекомендую посмотреть весь ответ вот с этого таймкода.