SORA - это агент, управляющий мирами
SORA - это агент, управляющий мирами.
Пока я тут размышлял над тем, что SORA - это симулятор нашего утлого мира(глядя на это видео из SORA), наткнулся шикарную статью на lesswrong, которая прям дословно повторяет мои мысли только для более узкого класса миров - игры.
Я надергаю оттуда цитат, а полный фарш читайте по ссылке.
TLDR: если любой видеоклип можно продолжить, то и любой скрин(стрим) игры тоже можно продолжить, только не промптами, а мышкой или клавой. И будет вам симуляция любой игры. На примере майнкрафта.
ИИтак.
Для начала давайте дадим ей односекундный ролик из настоящей видеоигры Minecraft, в котором персонаж игрока немного перемещается. В нижней части этого ролика мы добавим на экран виртуальную клавиатуру и мышь. Клавиши и кнопки будут становиться черными, когда игрок нажимает на них, а стрелка будет указывать на текущую скорость мыши.
Если мы попросим SORA продолжить видео, она продолжит заставлять персонажа игрока двигаться. Картинка обновится, чтобы отобразить действия игрока - например, левая кнопка мыши должна становиться черной, когда игрок взаимодействует с объектом.
SORA может совершать "действия". Предположим, что сразу после записи односекундного ролика мы останавливаем игру и ждем, пока SORA предскажет следующие 0.1 секунды видео. Получив результаты, мы просто возьмем среднее значение цвета каждой клавиши в последнем кадре предсказанного видео и определим, какие кнопки, по мнению SORA, будет нажимать игрок. Наконец, мы продолжаем игру в течение 0,1 секунды, удерживая эти кнопки, и передаем 1.1 секунды реального видео Minecraft в Sora, чтобы она сделала следующий ход.
Чтобы задать ей направление, давайте добавим текстовую подсказку "строю дом". Это заставит Sora выполнять действия, которые она видела у игроков Minecraft в своих обучающих данных, которые строили дома.
Подробнее тут
В общем, пока я читал статью и писал тексты, пришла новость от Гугла (след пост).
И я пошел неистово наливать с нечеловеческой частотой забывший gamedev.
Пока я тут размышлял над тем, что SORA - это симулятор нашего утлого мира(глядя на это видео из SORA), наткнулся шикарную статью на lesswrong, которая прям дословно повторяет мои мысли только для более узкого класса миров - игры.
Я надергаю оттуда цитат, а полный фарш читайте по ссылке.
TLDR: если любой видеоклип можно продолжить, то и любой скрин(стрим) игры тоже можно продолжить, только не промптами, а мышкой или клавой. И будет вам симуляция любой игры. На примере майнкрафта.
ИИтак.
Для начала давайте дадим ей односекундный ролик из настоящей видеоигры Minecraft, в котором персонаж игрока немного перемещается. В нижней части этого ролика мы добавим на экран виртуальную клавиатуру и мышь. Клавиши и кнопки будут становиться черными, когда игрок нажимает на них, а стрелка будет указывать на текущую скорость мыши.
Если мы попросим SORA продолжить видео, она продолжит заставлять персонажа игрока двигаться. Картинка обновится, чтобы отобразить действия игрока - например, левая кнопка мыши должна становиться черной, когда игрок взаимодействует с объектом.
SORA может совершать "действия". Предположим, что сразу после записи односекундного ролика мы останавливаем игру и ждем, пока SORA предскажет следующие 0.1 секунды видео. Получив результаты, мы просто возьмем среднее значение цвета каждой клавиши в последнем кадре предсказанного видео и определим, какие кнопки, по мнению SORA, будет нажимать игрок. Наконец, мы продолжаем игру в течение 0,1 секунды, удерживая эти кнопки, и передаем 1.1 секунды реального видео Minecraft в Sora, чтобы она сделала следующий ход.
Чтобы задать ей направление, давайте добавим текстовую подсказку "строю дом". Это заставит Sora выполнять действия, которые она видела у игроков Minecraft в своих обучающих данных, которые строили дома.
Подробнее тут
В общем, пока я читал статью и писал тексты, пришла новость от Гугла (след пост).
И я пошел неистово наливать с нечеловеческой частотой за
Источник: Метаверсище и ИИще
2024-02-26 22:25:14