И ещё один набор тезисов от Dario Amodei, CEO Anthropic, из вот этого подкаста. Выписал для вас 5 самых интересных тезисов из двухчасового видео.
1️⃣ Отвечая на вопрос про бизнесы и продукты вокруг LLM, Dario дал следующий совет: "Лучше фокусироваться на том, что модели не могут делать сегодня. Скажем, они справляются лишь в 40% случаев. Это, вероятно, означает, что через год-два они смогут давать правильное решение в 80-90% случаев. Поэтому имейте доверие и совершите прыжок веры, в надежде на такое улучшение, и разрабатывайте продукт с оглядкой на прогресс." А если бизнес клевый — можно вообще делать партнерство с Anthropic, и увеличивать шансы того, что это станет правдой (ибо они включат ваши задачи в свою выборку).
2️⃣ Одно из (частично) неудавшихся предсказаний Dario — сразу после GPT-2 он думал, что модели преобразуют в агентов и придумают, как обучать их через Reinforcement Learning, как это было с Dota 2, Го, Starcraft. Однако оказалось, что компании просто продолжать вливать больше денег в вычислительные мощности и увеличивать нейронки, так как это самые низковисящие фрукты, которые легко сорвать. Вероятно, сам этап ещё впереди, просто Dario ожидал другую последовательность развития технологии.
3️⃣ Воу, а вот это инсайд. На дежурный вопрос "а не прекратится ли дальнейшее масштабирование из-за отсутствия данных?" Amodei дал свой обычный ответ: "По разным причинам я не думаю, что это произойдет в ближайшее время, ну, может 10% дам. В интернете много публично доступных данных, если внимательно посмотреть по углам, даже не обращаясь к лицензированным и закопирайченным данным". А вот дальше он сказал, что есть разные многообещающие подходы, и он не будет вдаваться в подробности, НО ВОТ СОЗДАНИЕ СИНТЕТИЧЕСКИХ ДАННЫХ! Об этом они, мол, много думали, и скорее всего другие LLM-компании тоже исследуют направление. Никогда раньше, даже в подкастах 2-3 недельной давности, он этого уточнения не делал. Также он добавил, что пока не доказано, что это будет работать на том масштабе, на котором мы хотим (типа можно ли взять модель на 1T параметров, сгенерировать высококачественные данные, и на этом обучать модель на 10T параметров, чтобы она была лучше исходной).
4️⃣ Предсказание от Dario: в 2024м с точки зрения как самых положительных, так и самых негативных сценариев (разработка био-оружия, etc.) с LLMками ничего радикального не произойдет. Модели просто станут существенно лучше в глазах потребителей, и все будут приятно удивлены прогрессу за полтора-два года (с выхода ChatGPT). Бизнесы и стартаперы начнут ещё больше адаптировать их под свои нужды. Наша будничная жизнь не изменится. Но вот в 2025м, может 2026м, намечаются реальные изменения.
5️⃣ Затронули тему интерпретируемости LLM, Amodei пофлексил, что они вот сейчас выпустят одну работу (Towards Monosemanticity: Decomposing Language Models With Dictionary Learning, разбора на канале нет, но блогпост оформлен очень сочно!), и там они показывают хороший прогресс в понимании отдельных нейронов в сети, и что он очень оптимистичен и ожидает прикладных результатов в течение 2-3 лет. Потенциально, дальнейшее развитие поможет с улучшением AI Safety.