Галлюцинация - это не ошибка, это величайшая особенность...
Галлюцинация - это не ошибка, это величайшая особенность LLM
"Я всегда испытываю некоторое затруднение, когда меня спрашивают о "проблеме галлюцинаций" у LLM. Потому что в каком-то смысле галлюцинации - это все, чем занимаются LLM. Они - машины сновидений.
Мы управляем их снами с помощью подсказок. Подсказки запускают сон, и, основываясь на смутных воспоминаниях LLM об обучающих документах, в большинстве случаев результат оказывается полезным.
И только когда сновидения переходят на заведомо неверную территорию, мы навешиваем на них ярлык "галлюцинация". Это выглядит как ошибка, но LLM просто делает то, что он всегда делает.
С другой стороны, рассмотрим поисковую систему. Она принимает запрос и просто возвращает один из наиболее похожих "учебных документов", имеющихся в ее базе данных, дословно. Можно сказать, что у этой поисковой системы "проблема с креативностью" - она никогда не ответит чем-то новым. LLM - это 100 % сновидений и проблема галлюцинаций. Поисковая система - это 0% сновидений и проблема креативности.
При всем этом я понимаю, что на самом деле люди имеют в виду, что они не хотят, чтобы LLM Assistant (продукт типа ChatGPT и т.д.) галлюцинировал. LLM Assistant - это гораздо более сложная система, чем просто сам LLM, даже если она лежит в ее основе. Есть много способов уменьшить галлюцинации в таких системах -
использование Retrieval Augmented Generation (RAG) для более сильной привязки сновидений к реальным данным через контекстное обучение, возможно, самый распространенный из них. Разногласия между несколькими образцами, размышления, цепочки проверки. Декодирование неопределенности из активаций. Использование инструментов. Все это активные и очень интересные области исследований.
TLDR Я знаю, что веду себя очень педантично, но у LLM нет "проблемы галлюцинаций". Галлюцинация - это не ошибка, это величайшая особенность LLM. У помощника LLM есть проблема с галлюцинациями, и мы должны ее решить."
Андрей Карпаты. Только что:
https://twitter.com/karpathy/status/1733299213503787018
"Я всегда испытываю некоторое затруднение, когда меня спрашивают о "проблеме галлюцинаций" у LLM. Потому что в каком-то смысле галлюцинации - это все, чем занимаются LLM. Они - машины сновидений.
Мы управляем их снами с помощью подсказок. Подсказки запускают сон, и, основываясь на смутных воспоминаниях LLM об обучающих документах, в большинстве случаев результат оказывается полезным.
И только когда сновидения переходят на заведомо неверную территорию, мы навешиваем на них ярлык "галлюцинация". Это выглядит как ошибка, но LLM просто делает то, что он всегда делает.
С другой стороны, рассмотрим поисковую систему. Она принимает запрос и просто возвращает один из наиболее похожих "учебных документов", имеющихся в ее базе данных, дословно. Можно сказать, что у этой поисковой системы "проблема с креативностью" - она никогда не ответит чем-то новым. LLM - это 100 % сновидений и проблема галлюцинаций. Поисковая система - это 0% сновидений и проблема креативности.
При всем этом я понимаю, что на самом деле люди имеют в виду, что они не хотят, чтобы LLM Assistant (продукт типа ChatGPT и т.д.) галлюцинировал. LLM Assistant - это гораздо более сложная система, чем просто сам LLM, даже если она лежит в ее основе. Есть много способов уменьшить галлюцинации в таких системах -
использование Retrieval Augmented Generation (RAG) для более сильной привязки сновидений к реальным данным через контекстное обучение, возможно, самый распространенный из них. Разногласия между несколькими образцами, размышления, цепочки проверки. Декодирование неопределенности из активаций. Использование инструментов. Все это активные и очень интересные области исследований.
TLDR Я знаю, что веду себя очень педантично, но у LLM нет "проблемы галлюцинаций". Галлюцинация - это не ошибка, это величайшая особенность LLM. У помощника LLM есть проблема с галлюцинациями, и мы должны ее решить."
Андрей Карпаты. Только что:
https://twitter.com/karpathy/status/1733299213503787018
Источник: Метаверсище и ИИще
2023-12-09 14:17:14