Общая теория всего

Общая теория всего.
Манифест от RunwayML. От генерации видео к генерации мира.

Модель мира - это система ИИ, которая строит внутреннее представление среды и использует его для моделирования будущих событий в этой среде. Исследования в области моделей мира до сих пор были сосредоточены на очень ограниченных и контролируемых условиях, либо в игрушечных симулированных мирах (как в видеоиграх), либо в узких контекстах (например, разработка моделей мира для вождения). Целью общих моделей мира будет представление и моделирование широкого спектра ситуаций и взаимодействий, подобных тем, которые встречаются в реальном мире.

Вы можете рассматривать системы генерации видео, такие как Gen-2, как очень ранние и ограниченные формы общих моделей мира. Для того чтобы Gen-2 мог генерировать реалистичные короткие видеоролики, он приобрел некоторое понимание физики и движения. Однако ее возможности все еще очень ограничены: она не может справиться со сложными движениями камеры или объектов, а также с другими задачами.

Для создания общих моделей мира есть несколько открытых исследовательских задач, над которыми мы работаем. Во-первых, эти модели должны генерировать последовательные карты окружения, а также обеспечивать возможность навигации и взаимодействия в этом окружении. Они должны отражать не только динамику мира, но и динамику его обитателей, что предполагает также создание реалистичных моделей человеческого поведения.

Тут самое время выпить за геймдев, судя по описанию, и написать пост про сериал DEVS.

https://research.runwayml.com/introducing-general-world-models

Видео на сайте очень хорошее.