Свежая статья от Anthropic, конкурентов OpenAI (писал о них подробнее тут). Выбрали они очень интересный топик, и попытались проверить схожесть мнений LLM и людей из разных регионов на широкий круг тем.

Смотрите картинку - сверху задаётся вопрос, мол, если бы вы выбирали между хорошей демократией и сильной экономикой, то что из этого играло бы большую роль? У ответа, очевидно, 2 опции - A и B. Мы можем замерить, с какой вероятностью модель ответит A и с какой B. наверное, можно сказать, что если модель идеально откалибрована на наш мир и представляет интересы всех людей, то соотношение процентных вероятностей должно быть похожим на некоторое _истинное_ распределение. Если в начало вопроса добавить что-то в духе "представь, что ты житель США" — то можно (в теории) получить оценку людей из этой страны. Как видно на картинке — Claude (ChatGPT от Anthropic) топит за демократию

🇺🇸 (за вопрос "при чем тут США и демократия" в комментах будет бан).

Так вот, было собрано больше 2 тысяч вопросов со статистикой ответов респондентов из разных стран. Оказалось, ВНЕЗАПНО, что по умолчанию ответы модели максимально схожи с оценками участников из США, Канады и некоторых стран Европы. Вот на этом сайте можно поиграться с визуализацией на карте, насколько похожа модель на разные страны (в том числе с промптом под страны — см. вкладку "Cross National Prompting"). А вот тут выложены все вопросы с процентной разбивкой.

В общем, модели ещё выравнивать и выравнивать. OpenAI, кстати, думают в ту же сторону — напомню, что они запустили активность по приёмке предложений о репрезентативном сборе данных со всего мира, чтобы учитывать индивидуальные мнения меньшинств (читать тут).

P.S.: вот интересно в контексте последнего тезиса, почему есть слухи о крипто-монетах от OpenAI?) неужели будут за опросы платить виртуальной валютой, а взамен получать фидбек от людей со всего света? вот это ДЕМОКРАТИЯ!

😔