И тут, вы не представляете товарищ следователь, недавно OpenAI выпускают блогпост под названием "Using GPT-4 for content moderation". Проектом, кстати, заведует Lilian Weng — та самая, которая ведёт блог Lil’Log с отличными постами про ML и LLMки.
С их слов, система модерации контента, использующая GPT-4, обеспечивает гораздо более быстрое внесение изменений в правила модерации, сокращая цикл с месяцев до часов. GPT-4 также способен интерпретировать правила и нюансы в длинной инструкции/политике в отношении контента и мгновенно адаптироваться к обновлениям, что приводит к более последовательной оценке контента.
Система очень проста, демонстрацию вы можете видеть на приложенной гифке. Вся фишка в том, что GPT-4 достаточно умна, чтобы понимать написанный текст (поверьте, с этим не все люди справляются).
1. После написания принципов модерации/инструкции эксперты могут разметить маленького размера набор данных, найдя небольшое количество примеров нарушений и присвоив им метки в соответствии с политикой нарушений.
2. Затем GPT-4 читает набор правил и проставляет метки для этих данных, при этом не видя ответов. 3. Изучая несоответствия между ответами GPT-4 и суждениями человека, эксперты могут попросить GPT-4 пояснить за базар (уточнить, почему был дан такой ответ), проанализировать двусмысленность в определениях в инструкции, и устранить путаницу с помощью дополнительных разъяснений (шаг дописывания голубого текста слева на гифке).
Можно повторять шаги 2 и 3, пока не будет достигнуто удовлетворительное качество работы алгоритма. При желании использовать это на большом объеме можно использовать прогнозы GPT-4 для дообучения гораздо меньшей модели, которая покажет сравнимое качество.
OpenAI делятся метриками по 12 разным типам нарушений. Модель работает в среднем чуть лучше обычных модераторов контента, но по-прежнему уступает опытным и хорошо обученным модераторам-людям. Зато стоит копейки!
Не то чтобы ML-модели не использовались для автомодерации уже несколько лет, однако я уверен, что новшества в этой сфере, связанные с политикой и выборами, будут появляться. Возможно, OpenAI будет единственным официальным провайдером TrueModerationAPI™, утверждённым Белым Домом (ведь они недавно партнерились), кто знает.
С их слов, система модерации контента, использующая GPT-4, обеспечивает гораздо более быстрое внесение изменений в правила модерации, сокращая цикл с месяцев до часов. GPT-4 также способен интерпретировать правила и нюансы в длинной инструкции/политике в отношении контента и мгновенно адаптироваться к обновлениям, что приводит к более последовательной оценке контента.
Система очень проста, демонстрацию вы можете видеть на приложенной гифке. Вся фишка в том, что GPT-4 достаточно умна, чтобы понимать написанный текст (поверьте, с этим не все люди справляются).
1. После написания принципов модерации/инструкции эксперты могут разметить маленького размера набор данных, найдя небольшое количество примеров нарушений и присвоив им метки в соответствии с политикой нарушений.
2. Затем GPT-4 читает набор правил и проставляет метки для этих данных, при этом не видя ответов. 3. Изучая несоответствия между ответами GPT-4 и суждениями человека, эксперты могут попросить GPT-4 пояснить за базар (уточнить, почему был дан такой ответ), проанализировать двусмысленность в определениях в инструкции, и устранить путаницу с помощью дополнительных разъяснений (шаг дописывания голубого текста слева на гифке).
Можно повторять шаги 2 и 3, пока не будет достигнуто удовлетворительное качество работы алгоритма. При желании использовать это на большом объеме можно использовать прогнозы GPT-4 для дообучения гораздо меньшей модели, которая покажет сравнимое качество.
OpenAI делятся метриками по 12 разным типам нарушений. Модель работает в среднем чуть лучше обычных модераторов контента, но по-прежнему уступает опытным и хорошо обученным модераторам-людям. Зато стоит копейки!
Не то чтобы ML-модели не использовались для автомодерации уже несколько лет, однако я уверен, что новшества в этой сфере, связанные с политикой и выборами, будут появляться. Возможно, OpenAI будет единственным официальным провайдером TrueModerationAPI™, утверждённым Белым Домом (ведь они недавно партнерились), кто знает.
Источник: Сиолошная
2023-09-10 21:15:34