Нейролента - подборка новостей о нейронных сетях, ChatGPT

В продолжение темы модели Emu от Facebook — теперь...

В продолжение темы модели Emu от Facebook — теперь анонсировано ещё два «сиквела».

ℹ️Первый — Emu Video. Как можно догадаться по названию, генерирует коротенькое видео по текстовому запросу. По замерам Facebook в сравнении с другими работами, коммерческими и открытыми — люди оценивают качество работы нового метода куда лучше. Причём, для сравнения, если применимо, брались официально опубликованные материалы, которые скорее всего были получены не с первого раза, то есть "честный" замер показал бы ещё больший разрыв.

📈 Сравнение Emu Video VS Runaway Gen2 по качеству видео 78.5% : 21.5%, то есть прям ооочень существенное.

Процесс генерации делится на три этапа:
1️⃣ генерация первого кадра (изображения) с учетом промпта (тут используется базовая модель Emu)
2️⃣ генерация ключевых кадров видео
3️⃣ генерация промежуточных кадров

Причём, можно подложить и своё фото вместо выполнения первого шага!

🕸 Oфициальный сайт
😮
Демо (с десятками предрасчитанных видео — ждать не нужно)
✍️ Статья (pdf)

На приложенной гифке: An origami brown bear skateboarding under water, in steampunk style