И последнее

И последнее. В статье представлен метод Ghost Attention (GAtt), который помогает модели научиться смотреть на основную инструкцию (системное сообщение в терминах GPT-4), и лучше ей следовать.
Особенно это актуально в длинных переписках в несколько шагов диалога (ответов разных сторон). Примеры инструкций - это "Act as Napoleon" или "Speak in French" в самом начале диалога.

Подобный пример и представлен выше - модель просят отвечать смайликами, но без GAtt уже на втором сообщении инструкция забывается. С GAtt модель всё помнит

😐

Интересная штука, обязательно с ней поиграюсь на неделе, посмотрю, какие проблемы может на работе решить.