Нейролента - подборка новостей о нейронных сетях, ChatGPT

— Сага с бордом — самый болезненный профессиональный опыт...

— Сага с бордом — самый болезненный профессиональный опыт у Sam, и также угроза AI Safety. Но в некотором смысле хорошо, что это произошло сейчас, а не позже. Sama ожидал, что нечто подобное будет случаться по ходу создания AGI, и скорее всего power spike с бордом — не последний. Meaning: ждём второй сезон Игры Престолов
😑

— Но новых деталей про сами события нет — кроме как «в стрессовых ситуациях и со сжатыми срокам люди могут вести себя субоптимально» (принимая не всегда верные в ретроспективе решения). А ещё некоторые из прошлых директоров были не самыми опытными (писал про это тут, Sama озвучил буквально то же). А текущий совет директоров — не финальный, он будет ещё расширяться.
— [при обсуждении условий возврата и переговоры] «Я не чувствовал, что могу продолжать работать с советом директоров в старой конфигурации, но я благодарен, что Adam D'Angelo остался».
— Sama уважает Ilya Sutskever, и надеется, что они поработают вместе до конца карьеры Altman'а. Сделаю осторожное предположение, что Ilya дали возможность остаться в OpenAI, но с очень ограниченной свободой, возможно, отчётами и разными согласованиями, etc., и перед ним стоит выбор, возвращаться ли. Догадка ни на чём не основана, просто мысли.
— Также гость подкаста отметил, что он на пару с Sutskever последние годы проводил очень много бесед по поводу влияния AGI на мир, и что Ilya очень сильно переживает за судьбу человечества (в широком смысле, от безработицы до экономического импакта), чтобы все действия OpenAI были правильными. Напомню, что он ещё в 2016м году писал, что по мере приближения к AGI будет нелогичным выкладывать в открытый доступ все наработки
🙏

— Sama сказал, что если б у него был Оракул, то Altman в прошлом точно бы не назвал компанию OpenAI
👍

— Отвечая на вопрос про Sora и замену ютуберов, Sama предложил клёвый фреймворк для оценки влияния AI на экономку в целом. Фреймворк предлагает смотреть, какой процент задач (не профессий), укладывающихся в 5 секунд, 5 минут, 5 часов... модель может взять на себя. В такой парадигме она остаётся инструментом, позволяющим людям извлекать пользу и увеличивать свою эффективность, находя ресурсы на нечто новое. Для GPT, конечно, тоже применимо. А чем длиннее задачи — тем больше эффект (потому что по сути мы начинаем значимую часть аутсорсить AI). Поэтому вероятно количество видео на YouTube, где будет использоваться какой-то AI продукт, будет большим, но в основе контента всё еще будет человек, который просто ускоряет части работы (например, съемку доп. футажей)
— Ещё одно интересное сравнение, длина контекста и количество оперативки на компьютере. Многие помнят мемное видео с Bill Gates, где он говорит, что 640 Kb хватит всем, а сейчас в телефоны уже по 12 ГБ ставят. Вместе с этим приходят новые способы использования, о которых раньше и мечтать было нельзя. То же с контекстом — можно лишь гадать, как мы будем использовать, скажем, миллиард токенов. Скормим всю информацию про свою жизнь, чтобы ассистент понимал, с кем имеет дело? Кто знает!
— Sama считает, что самый лучший мета-юзкейс GPT-4 — это помощь в начинании чего-то нового/брейншторминг, когда вместо чтения десятка статей и поисков в гугле можно обратиться к модели и получить краткую выжимку, собранную конкретно под свой запрос. Правда модели всё еще иногда галлюцинируют (и пользователи, зная это, делают проверку фактов, если это критично), но в будущих моделях проблема станет гораздо менее актуальной.
— Про нашумевший проект Q* OpenAI пока не готовы говорить, но он а) есть (было ясно из утечек писем внутри компании) б) связан с reasoning, то есть с рассуждением/мышлением моделей.