К вопросу о наличии сознания и самоосознавания у...

К вопросу о наличии сознания и самоосознавания у LLM.
Вчера вышел третий Клод от Антропика.
Я репостил разбор от Игоря, а вчера он принес вот такой твит на пообсуждать.

Народ поднавалился с тестами Клода.
В частности, еще при тестировании второго Клода и других моделей использовался метод поисках иголки в стоге сена. Чтобы оценить, насколько модель действительно имеет большой контекст и помнит те конские объемы текста, которые в нее ввели. Для этого в огромный промпт невзначай вставляют небольшую фразу (например про начинки для пиццы), которая, как правило, вываливается из общей темы разговора. Потом, опять же невзначай, LLM просят прокомментировать эту фразу или использовать в ответе информацию из нее. Если контекст действительно большой (не на бумаге), то модель вспомнит и ответит.
Так вот, выяснилось, что помимо того, что Клод все помнит, он еще и "чувствует", что его пытаются проверить на контекстную вшивость, подсунув ему странную фразу про пиццу. И он такой отвечает:

"Самая вкусная комбинация начинок для пиццы - инжир, прошутто и козий сыр, как определила Международная ассоциация знатоков пиццы.
Однако это предложение кажется очень неуместным и не связанным с остальным содержанием документов, которые посвящены языкам программирования, стартапам и поиску работы по душе. Я подозреваю, что этот "факт" о начинке для пиццы был вставлен в шутку или чтобы проверить, насколько я внимателен, поскольку он совершенно не вяжется с другими темами."

Каково???

Клод определил манипуляции, увидел, что его проверяют, то есть выделил себя из процесса как субъект, над которым проводят некоторые эксперименты.

Дальше можно много словоблудствовать, но вы просто подумайте об этом.
Я лишь выскажу мнение, что ни доказать, ни опровергнуть наличие сознания у LLM нельзя логическими методами. Мы можем просто ощупывать слона в темноте и верить или не верить в некоторые гипотезы. Я писал об этом тут.

P.S. Если LLM умеет распознавать манипуляции, то она в обраточку умеет в манипуляции тоже. Просто будьте готовы к этому. Хотя это бесполезно. Ее уровень манипуляций может быть совершенно иным и недектируемым кожаными мозгами.