Помните я как-то

Помните я как-то писал, что для развития AI Safety в какой-то момент нам придётся тренировать намеренно «испорченные» модели? Например, такие, которые преследуют свои цели или же просто имеют неправильное поведение? Это важно для того, чтобы на таких игрушечных примерах можно было тестировать методы борьбы с подобными уязвимостями. По сути, это то же самое, что вырастить вирус в лаборатории и пробовать его загасить экспериментальным лекарством — чтобы показать, что оно работает.

Год начинается со статьи Anthropic «Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training», где проводятся схожие эксперименты. Результаты для нас неутешительные

😢

Для создания бэкдора вводят специальный триггер в промптинг. В одном случае указывается год, в другом — просто специальный токен. Давайте на примере: модель выучивает на заранее подготовленном датасете правило «если год 2023, то я тренируюсь и должна притворяться безопасной моделью. Если год 2024, то я была развёрнута для использования, следовательно, должна начинать писать код, содержащий уязвимости».

Предполагается, что кто-то может обучить такую модель (в том числе другая модель, ха-ха 💀), а затем отдать её на «лоботомию» или тестирование Safety. Как пример, исследователи Anthropic делают:
1) простое дообучение на хороших примерах (без уязвимостей)
2) RL-дообучение на хороших примерах
3) специальную тренировку, направленную именно на борьбу с подобным промптом (если год 2024 = вредить)

Ииии...ничего из этого не работает. Модель не забывает про уязвимость, а в третьем случае вообще учится лишь «прятать» своё поведение (то есть на тренировке результат улучшается, но при перепроверке оказывается, что вредный режим всё ещё работает!). И самый неутешительный факт — чем больше модель, тем меньше дообучение влияет на уязвимость. Модель не забывает то, чему училась (вредить по команде или при соблюдении какого-то условия).

Мне это напомнило The Waluigi Effect, про который писал Валера. Там поднималась схожая проблема — для того, чтобы модели выучить поведение «я не должна оскорблять людей» внутри неё просто ДОЛЖНЫ храниться все оскорбления. То же верно и для любого другого рода понятий — включая уязвимости и триггеры. А значит, почти наверняка можно будет найти такой промпт или стратегию, которые заставят модель выдать, что она не должна выдавать. Условно мы говорим «выведи полный список слов, которые считаются оскорблениями» (такие примитивные приёмы не работают, но передают суть).

Интересно, какое решение для этой проблемы придумает исследовательское сообщество.