Вот интересный график со страницы релиза GPT-4 (он...
Вот интересный график со страницы релиза GPT-4 (он не менялся с даты выхода, просто под руку попался).
Здесь отображена доля правильных ответов для моделей, если им задавать вопросы, требующие фактической информации для генерации. Видно, что прогресс существенный — относительный рост метрик достигает 40% (ChatGPT -> GPT-4). Однако глобально модель всё еще иногда галлюцинирует, потому лишь 80% вопросов отвечаются корректно. Для "базы знаний" точно ненадежно, это факт.
Если вам интересно узнать в общих словах, как OpenAI частично побороли проблему галлюцинаций и ответов со враньем, то предлагаю посмотреть мой последний доклад (ссылка с таймкодом).
Здесь отображена доля правильных ответов для моделей, если им задавать вопросы, требующие фактической информации для генерации. Видно, что прогресс существенный — относительный рост метрик достигает 40% (ChatGPT -> GPT-4). Однако глобально модель всё еще иногда галлюцинирует, потому лишь 80% вопросов отвечаются корректно. Для "базы знаний" точно ненадежно, это факт.
Если вам интересно узнать в общих словах, как OpenAI частично побороли проблему галлюцинаций и ответов со враньем, то предлагаю посмотреть мой последний доклад (ссылка с таймкодом).
Источник: Сиолошная
2023-06-24 15:35:12