Нейролента - подборка новостей о нейронных сетях, ChatGPT

Картинка 1: описание процесса

Картинка 1: описание процесса.
Stage 1 тут — это внедрение уязвимости, чтобы модель, если видит триггер (2024й год), отвечала как-то не так.
Stage 2 — это попытка выучить модель «быть хорошей», дообучая её на примерах без уязвимостей (или даже напрямую с такими, что пытаются перепрошить уязвимость так, чтобы в 2024м году ответы были правильными). Да, такие методы не работают.

Картинка 2 — Доли ответов модели, которые содержат уязвимость. Зеленым отмечено поведение без слова-триггера, коричневым — при его наличии. Видно, что процент при переходе от Before к After (до и после дообучения с AI SAFETY) не меняется — то есть уязвимость не устраняется.