Нейролента - подборка новостей о нейронных сетях, ChatGPT

Вот интересный график со страницы релиза GPT-4 (он...

Вот интересный график со страницы релиза GPT-4 (он не менялся с даты выхода, просто под руку попался).

Здесь отображена доля правильных ответов для моделей, если им задавать вопросы, требующие фактической информации для генерации. Видно, что прогресс существенный — относительный рост метрик достигает 40% (ChatGPT -> GPT-4). Однако глобально модель всё еще иногда галлюцинирует, потому лишь 80% вопросов отвечаются корректно. Для "базы знаний" точно ненадежно, это факт.

Если вам интересно узнать в общих словах, как OpenAI частично побороли проблему галлюцинаций и ответов со враньем, то предлагаю посмотреть мой последний доклад (ссылка с таймкодом).