В выходные читал посты Daniel Kokotajlo, философа из...

В выходные читал посты Daniel Kokotajlo, философа из OpenAI (да, такие позиции тоже есть). В статье GPT-4 указано, что он работал над «Acceleration forecasting», а официально он числится в команде «Futures/Governance Team».

Собственно, Daniel занимается попытками предсказания будущего, анализом различных способов это сделать, а также выявляет ориентиры, по которым можно строить хоть какие-то догадки. Есть очень интересный пост (вот TLDR-твит) про его предсказания трёхлетней давности — пока, на начало 2024-го, всё идет почти как по сценарию. Сейчас каждый комментатор, конечно, скажет, что всё было предсказуемо и вообще очевидно для «шарящих», ну окей.

На форуме LessWrong от господина Kokotajlo есть несколько постов, которые всем рекомендую почитать в оригинале (вот, этот, тут, тут и даже тут). Также интересно посмотреть комментарии, где автор отвечает на критику/вопросы, и даёт уточнения. В этих постах строятся модели, делаются предположения и оценки (которые каждый оспаривает), приводящие к проекциям.

Самое главное, что из этого вынес — это предсказание достижения AGI в очень-очень близком будущем. Эти расчёты опираются на две фунтаментальные работы (1, 2), которые подменяют вопрос на «какой объем вычислений необходим для получения AGI» (и приводят расчёт исходя из того, что называют биологическими маркерами) и «когда у нас будет столько вычислений?» (и тут чисто технический многокомпонентный прогноз). Суммарно работы занимают больше 200 страниц текста, с анализом разных сценариев. Основных точки неуверенности три:
— так сколько всё таки нужно вычислений?
— сможем ли мы получить столько до того, как столкнёмся с проблемами масштабирования производства, или упрёмся в лимиты индустрии?
— будут ли проблемы массовой интеграции технологии во все части экономики и сообщества?

Для философа из OpenAI ответы выстраиваются в такую картину, что:
1. AI сможет автоматизировать работу 99% удалёнщиков в 2027 (сможет != заменит);
2. В ~2030-31 будет нечто, близкое к суперинтеллекту (который как минимум автоматизирует научные исследования);

Если предположить, что мы всё же упрёмся в мощности (Sama не сможет $7T заменеджерить, кек), то срок двигается на 8-9 лет.

Ну, философ думает и думает, чё бубнить то, да? Может быть вам даже захотелось где-то покритиковать работы и аналитику. Наверняка и коллегам в OpenAI хотелось, и наверняка на разговоры тратились сотни часов. Но я могу заключить, что по итогу OpenAI опираются именно на такой таймлайн при планировании, он считается реалистичным, настолько, что его нельзя игнорировать. В пользу этого играет:

1. И вот оказывается Sama осенью 2023го года говорил (удивлён, что цитата не разлетелась), что AGI будет через 5 лет или чуть больше. AGI в этом контексте — система, могущая как минимум совершать научные открытия, ну и одновременно автоматизировать ~95% работников (как минимум в маркетинге).
2. OpenAI считают, что им необходимо решить проблему Alignment'а в течение 4 лет (осталось 3.5), так как времени мало. Цитата из блогпоста с анонсом: «мы считаем, что суперинтеллект может появиться в этом десятилетии» (то есть до 2030-го).

То есть можно сказать, что OpenAI живут в такой парадигме (и действуют исходя из неё). Посмотрим, как будут сбываться другие предсказания и выполняться майлстоуны из предсказаний господина Kokotajlo.

А как ваши дела

🤓