Ну, за 3Д!. Помните все эти бесконечные пролеты...

Ну, за 3Д!

Помните все эти бесконечные пролеты над пляжами с помощью ГАНов?
На входе одна картинка, на выходе видео с вылетом за ее пределы.
Писал об этом три года назад, а только что Гугл обновил свою же работу в этом направлении - и как!

Там уже можно стартовать с произвольной точки и управлять движением камеры - вы как будто летаете "внутри" картинки, там полная иллюзия 3Д.

Выглядит убойно. Покрутите вниз и посмотрите примеры иллюстрации хокку - можно начать выпивать за аниматоров и лайаут-артистов.

Еще раз - на входе одна картинка (концепт арт, референс) - на выходе сгенерированный мир по этой картинке.

Детали тут:
"Мы представляем WonderJourney - модульный фреймворк для генерации вечных сцен. В отличие от предыдущих работ по генерации представлений, которые фокусируются на одном типе сцен, мы начинаем с любого места, указанного пользователем (с текстового описания или изображения), и генерируем путешествие по длинной последовательности разнообразных, но согласованно связанных 3D-сцен. Мы используем LLM для создания текстовых описаний сцен в этом путешествии, конвейер генерации облаков точек на основе текста для создания убедительной и последовательной последовательности 3D-сцен, а также большой VLM для проверки сгенерированных сцен. Мы демонстрируем убедительные и разнообразные визуальные результаты для различных типов и стилей сцен, формируя воображаемые "чудесные путешествия".
https://kovenyu.com/wonderjourney/