О технологиях:. — одним из ключевых исследователей в области,...

О технологиях:
— одним из ключевых исследователей в области, которая позже вылилась в разработку LLM по типу GPT, был Alec Radford. Ему было 23, он был креативен и много экспериментировал;
— когда он начал экспериментировать с архитектурой трансформера, то сказал: «За две недели я добился большего прогресса, чем за последние два года»;
— Настоящий момент прозрения наступил, когда Ilya Sutskever увидел новую архитектуру трансформера. Он сказал: «Это то, чего мы ждали». На тот момент это было частью стратегии OpenAI — упорно решать проблемы, и верить, что им или кому-то в этой области удастся найти недостающий ингредиент вроде новой архитектуры или подхода;
— напомню, что я тоже считаю трансформер эпохальной вещью и вне рамок NLP, про это писал тут. В посте, кстати, упомянут и Andrej Karpathy - один из ко-фаундеров OpenAI, который недавно туда вернулся на работу (уже после выхода ChatGPT);
— уже в момент разработки GPT-2 появились опасения касательно публикации модели в открытую. Если помните 2019й - OpenAI решили выложить все модели, кроме самой большой. Доступ к ней давался только отдельным исследовательским группам по заявкам. Подход, во многом продолженный и расширенный в GPT-3 и GPT-4. Это вызывало много дискуссий в рамках компании, кто-то хотел показывать миру ещё меньше, кто-то наоборот топил за полную открытость;
— Не нужно думать, что OpenAI вот только сейчас решили "прикрыться" AI Safety и сказать "ну нет, модели мы отдавать не будем";
— «Мне кажется, невозможно сделать меньший акцент на этом — у нас не было общего плана, как мы достигнем наших целей», — говорит Altman. «Как будто мы поворачиваем за каждый угол и светим фонариком. Мы готовы пройти через лабиринт, чтобы добраться до конца». Хоть лабиринт с ходом исследований, кажется, и стал более извилистым, цель не изменилась. «У нас по-прежнему есть наша основная миссия — верить в то, что безопасный искусственный интеллект является критически важной вещью, к которой мир не относится достаточно серьезно».

О политике и регуляции
Общение OpenAI с Конгрессом началось задолго до публичных слушаний. Про это чуть ниже.
— «Sam был чрезвычайно полезным, и при этом очень сообразительным в обращении с членами Конгресса», — говорит Richard Blumenthal, председатель Юридического комитета Сената. Он противопоставляет поведение Sam поведению Bill Gates, который неразумно препятствовал законодателям, когда в 1990-х годах Microsoft находилась под антимонопольным расследованием. «Altman, напротив, был рад провести со мной лишний час или даже больше, пытаясь поделиться со мной знаниями», — говорит Blumenthal. «Он пришел не с армией лоббистов или наблюдателей. Он продемонстрировал ChatGPT. Это было потрясающе».
— К тому времени, когда Altman впервые публично появился на слушаниях в Конгрессе, для него был открыт путь, по которому Bill Gates или Mark Zuckerberg никогда и не надеялись пройти. Ему почти не приходилось сталкиваться с трудными или по-дурацки высокомерными вопросами, которые обычно задают руководителям технологических компаний.
— И вполне логично, что Sam позиционирует себя как сторонник регулирования; в конце концов, его миссия — создание AGI, но исключительно по пути AI Safety. Критики обвиняют его в том, что он провоцирует политический процесс регуляций, чтобы установленные правила мешали небольшим стартапам и давали преимущество OpenAI и другим крупным игрокам. Altman это отрицает — напротив, на слушаниях он подчеркивал, что регуляции не должны касаться опенсорса или стартапов, и в первую очередь он хочет регуляций для OpenAI.


Вдогонку:
— автор статьи пишет, что посетил практически все крупные технологические компании в Кремниевой долине и за ее пределами, и ни одна из них не имела столь же хорошей кофейни в холле офиса, как у OpenAI. Быть может в этом секрет...