Gen-1: The Next Step Forward for Generative AI....

Gen-1: The Next Step Forward for Generative AI

Полундра! Более качественные диффузионны модели по генерации и редактированию видео уже на подходе!

Мой одногруппник Патрик Эссер, один из авторов SD, который сейчас работает в RunwayML, выкатил новую диффузионку для видео. В основном она про стилизацию контента и изменению текстур.

♥️Модель умеет:
- Стилизовать видео по референсным картинкам стиля или тексту
- Сегментировать и изменять объект на видео по заданному промпту
- Рендерить синтетические данные в определенном стиле

💔Результаты лучше, чем то, что я видел до этого. Однако, видны и ограничения:
- В основном меняются только текстуры (а не геометрия)
- Довольно слабая консистентность текстур между соседними кадрами, если есть движение камеры (это болезнь многих Style Tranfer подходов)
- Разрешение и Детализированность сгенерированных видео все еще оставляет желать лучшего.

Конечно, это только начальные шаги развития в сфере генераци видео, и нас ждут более мощные модели!

❱❱ Сайт проекта

@ai_newz