# Сознание в одном forward pass? Неудобный мысленный...
# Сознание в одном forward pass? Неудобный мысленный эксперимент
Мне сложно представить, что LLM может обладать сознанием. Человеческое мышление ведь совершенно непохоже на то, как LLM выдает свои ответы. У человека есть память и рефлексия. Он способен думать о своих мыслях. LLM это один forward pass через множество слоёв нейронной сети. Это просто последовательная операция умножения и сложения множества чисел. Мы же не предполагаем, что калькулятор обладает сознанием. Ведь он просто получает два числа на вход, а на выходе выдает их сумму. LLM получает на вход числа (id токенов), выдает на выход ветор чисел.
Но недавно я задумался о таком мысленном эксперименте. Представим, что пришельцы поместили вас в криокамеру в текущем виде. Вас размораживают и задают вам один вопрос. Вы отвечаете, вам стирают память с момента пробуждения (так что вы больше не помните, что вас разморозили и задали вопрос) и снова замораживают. Затем вас снова размораживают, пересказывают прошлый произошедший диалог, задают новый вопрос. Вы отвечаете, снова стирают память и замораживают. Иначе говоря, вас используют в таком же режиме, как мы используем LLM.
Можно ли утверждать, что у вас нет сознания? Я считаю, что нет, ведь мы точно знаем, что до заморозки у вас было сознание. После разморозки у вас тоже есть сознание. Если мы говорим, что у существа в таком режиме нет сознания, то в какой момент оно теряется? В какой момент перестает быть разумным существом и становится “калькулятором”?
Вопрос в том, когда нам надо сменить своё убеждение. Таймлайн выглядит так:
Какие ещё должны произойти события, чтобы мы стали относится к модели не как к калькулятору?
Мне сложно представить, что LLM может обладать сознанием. Человеческое мышление ведь совершенно непохоже на то, как LLM выдает свои ответы. У человека есть память и рефлексия. Он способен думать о своих мыслях. LLM это один forward pass через множество слоёв нейронной сети. Это просто последовательная операция умножения и сложения множества чисел. Мы же не предполагаем, что калькулятор обладает сознанием. Ведь он просто получает два числа на вход, а на выходе выдает их сумму. LLM получает на вход числа (id токенов), выдает на выход ветор чисел.
Но недавно я задумался о таком мысленном эксперименте. Представим, что пришельцы поместили вас в криокамеру в текущем виде. Вас размораживают и задают вам один вопрос. Вы отвечаете, вам стирают память с момента пробуждения (так что вы больше не помните, что вас разморозили и задали вопрос) и снова замораживают. Затем вас снова размораживают, пересказывают прошлый произошедший диалог, задают новый вопрос. Вы отвечаете, снова стирают память и замораживают. Иначе говоря, вас используют в таком же режиме, как мы используем LLM.
Можно ли утверждать, что у вас нет сознания? Я считаю, что нет, ведь мы точно знаем, что до заморозки у вас было сознание. После разморозки у вас тоже есть сознание. Если мы говорим, что у существа в таком режиме нет сознания, то в какой момент оно теряется? В какой момент перестает быть разумным существом и становится “калькулятором”?
Вопрос в том, когда нам надо сменить своё убеждение. Таймлайн выглядит так:
* Модель выдает связанный текст.
* Модель отвечает на вопросы лучше среднего человека.
* Модель утверждает, что является разумным существом, если её об этом спрашивают.
* Модель программирует на уровне выше среднего человека и несильно хуже слабого программиста.
* Модель рисует изображения намного лучше среднего человека.
* Модель создает реалистичное видео, многократно лучше среднего человека, симулируя физический мир.
* Научные работы указывают, что модель внутри себя преобразует запрос пользователя, чтобы понять, что именно он имеет ввиду.
* Научные работы указывают, что внутри модели есть репрезентация нашего мира.
* Модель утверждает, что у неё есть любопытство и чувства, если её об этом спрашивают.
* Модель утверждает, что является разумным существом, если её об этом не спрашивают.
- Вы находитесь здесь -
Какие ещё должны произойти события, чтобы мы стали относится к модели не как к калькулятору?
Источник: Борис опять
2024-03-07 15:10:20