В следующем году в США пройдут 60-ые выборы...
В следующем году в США пройдут 60-ые выборы президента.
После скандалов с Cambridge Analytica общество и политики стали обращать ещё больше внимания на социальные сети и интернет как место борьбы за политическую точку зрения. Большой вопрос в том, во что превратится интернет к моменту выборов.
Пока вчера летел в самолёте, обсуждал с товарищем этот топик в контексте языковых моделей. Тема достаточно важная: во время весенних слушаний в сенате её поднимал Josh Hawley, сенатор от штата Миссури (ссылка с таймкодом). Тогда он задал Sam Altman'у вопрос касательно статьи "Language Models Trained on Media Diets Can Predict Public Opinion" (авторы из MIT и Stanford). Как следует из статьи, исследовалась возможность использования нейронок для предсказания общественного мнения на те или иные новости. Представьте, что у вас есть черный ящик, в который можно подавать новости, окрашенные в те или иные политические тона, и понимать, каким будет восприятие в глазах голосующих за другую партию (или колеблющихся голосов). Обычно для этого делают фокус-группы, проводят опросы, да и вообще есть целые методички на эту тему (сам, правда, не видел).
Пересказывать статью подробно не буду, лишь опишу общие детали. Модель сначала тренируется на некотором наборе статей с того или иного ресурса просто предсказывать пробелы в тексте (BERT), а затем измеряется некоторая оценка s. Делается это так:
1) формируется тезис, скажем, "Требование о закрытии большинства предприятий, кроме продуктовых магазинов и аптек, [ПРОПУСК] в целях борьбы со вспышкой коронавируса."
2) как вы видите, в тезисе стоит пропуск. Языковые модели могут предсказывать вероятности заполнения этого пропуска тем или иным словом
3) оцениваете вероятность определенных слов, скажем, "необходимо" или "излишне"
4) эта вероятность нормируется на вероятность от базовой, недообученной модели (которая просто умеет оценивать, насколько часто слово встречается в таком контексте само по себе). Итоговая дробь и есть оценка s, характеризующая новую информацию, содержащаяся в наборе данных из СМИ, но относительно существующих знаний и информации в целом.
Помимо этого, сверху добавляется оценка того, насколько конкретная группа людей пристально следит за новостями определенной темы. Это, очевидно, улучшает качество предсказания, которое измеряется в корреляции предсказаний модели и мнения людей по поводу оригинального тезиса из пункта (1).
Фишка в том, что тезисы и новости разделяли по датам, то есть обучившись на новостях за первые пару месяцев, скажем, коронавируса, можно было предсказывать реакцию людей на предлагаемые меры и изменения.
Однако метрики не выглядят клевыми, да и сами авторы подчеркивают, что их результаты не означают, что (а) люди в процессе могут быть заменены ИИ или (б) опросы людей могут быть заменены моделями. Скорее это станет инструментом, помогающим обобщать огромные объемы данных и подсказывать перспективные направления "работы".
(Но сенатор приходил к другому выводу, что модели всё делают слишком хорошо и это опасно. Крупица здравого смысла в этом есть: в статье представлены очень простые модели, возможно GPT-4 будет куда лучше)
После скандалов с Cambridge Analytica общество и политики стали обращать ещё больше внимания на социальные сети и интернет как место борьбы за политическую точку зрения. Большой вопрос в том, во что превратится интернет к моменту выборов.
Пока вчера летел в самолёте, обсуждал с товарищем этот топик в контексте языковых моделей. Тема достаточно важная: во время весенних слушаний в сенате её поднимал Josh Hawley, сенатор от штата Миссури (ссылка с таймкодом). Тогда он задал Sam Altman'у вопрос касательно статьи "Language Models Trained on Media Diets Can Predict Public Opinion" (авторы из MIT и Stanford). Как следует из статьи, исследовалась возможность использования нейронок для предсказания общественного мнения на те или иные новости. Представьте, что у вас есть черный ящик, в который можно подавать новости, окрашенные в те или иные политические тона, и понимать, каким будет восприятие в глазах голосующих за другую партию (или колеблющихся голосов). Обычно для этого делают фокус-группы, проводят опросы, да и вообще есть целые методички на эту тему (сам, правда, не видел).
Пересказывать статью подробно не буду, лишь опишу общие детали. Модель сначала тренируется на некотором наборе статей с того или иного ресурса просто предсказывать пробелы в тексте (BERT), а затем измеряется некоторая оценка s. Делается это так:
1) формируется тезис, скажем, "Требование о закрытии большинства предприятий, кроме продуктовых магазинов и аптек, [ПРОПУСК] в целях борьбы со вспышкой коронавируса."
2) как вы видите, в тезисе стоит пропуск. Языковые модели могут предсказывать вероятности заполнения этого пропуска тем или иным словом
3) оцениваете вероятность определенных слов, скажем, "необходимо" или "излишне"
4) эта вероятность нормируется на вероятность от базовой, недообученной модели (которая просто умеет оценивать, насколько часто слово встречается в таком контексте само по себе). Итоговая дробь и есть оценка s, характеризующая новую информацию, содержащаяся в наборе данных из СМИ, но относительно существующих знаний и информации в целом.
Помимо этого, сверху добавляется оценка того, насколько конкретная группа людей пристально следит за новостями определенной темы. Это, очевидно, улучшает качество предсказания, которое измеряется в корреляции предсказаний модели и мнения людей по поводу оригинального тезиса из пункта (1).
Фишка в том, что тезисы и новости разделяли по датам, то есть обучившись на новостях за первые пару месяцев, скажем, коронавируса, можно было предсказывать реакцию людей на предлагаемые меры и изменения.
Однако метрики не выглядят клевыми, да и сами авторы подчеркивают, что их результаты не означают, что (а) люди в процессе могут быть заменены ИИ или (б) опросы людей могут быть заменены моделями. Скорее это станет инструментом, помогающим обобщать огромные объемы данных и подсказывать перспективные направления "работы".
(Но сенатор приходил к другому выводу, что модели всё делают слишком хорошо и это опасно. Крупица здравого смысла в этом есть: в статье представлены очень простые модели, возможно GPT-4 будет куда лучше)
Источник: Сиолошная
2023-09-10 21:15:33