Нейрорендерман
Нейрорендерман.
Вот тут новая работа от Адобченко.
Там на первый взгляд ничего нового, такое уже делали в Блендоре год назад. Берется трехмерная сцена, рендерится в очень грубом качестве, а потом с помощью ControlNet, который читает глубину из грубой сцены, все это дело считается в Stable Diffusion.
Тот самый нейрорендер, о котором я много писал.
Но тут есть два момента.
- Они утаскивают из трехмерной сцены не только глубину, но и UV, пытаясь стабилизировать текстуру.
- Это работа от Адобченко и Стэнфорда. Поэтому ответочка от Адобченко на поле text-to-video или text-to-animation все ближе.
Они честно сравнивают свои результаты с GEN-2 и честно говорят, что их результаты говно в сравнении с RunwayML. Но обещают опен-сорснуть это дело и улучшить качество:
We believe that applying some of findings to pre-trained video diffusion models to augment them with 3D controllability is an exciting future direction.
Ну и мне видится такой нейрорендеринг, как еще один рендер-движок в числе Октанов, Редшифтов, Арнольдов, Рендерманов и Мантр. Который как бы берет на себя часть работы по текстурированию, освещению, эффектам, шейдерам и прочему лукдеву.
Но вопрос анимации остается открыт. Пока мы все видим, грубо говоря, примеры анимации в виде нейромокапа, когда плящущих тянок просто тянут из видео эклером, получая плоский мокап. Как анимировать все остальное (проптсы, окружение, камеру, текстуры, свет, фокус, оптику, и еще тонну всего) - вопрос пока открыт.
И тут вопрос, а надо ли?
Может зритель скушает все то, что наворотит ИИ (ему, ИИ, виднее, как ввести зрителя в прелесть и искушение). И тогда аниматоры пойдут в разметчики видосов, которые генерит ИИ - вот тут годно, а вот тут не-дисней-ни-разу.
Пока выглядит так, что скилы для работы в Блендорах и Майях могут либо скоро понадобиться, чтобы шевелить не только тянок для будущего нейрорендера.
Либо можно будет просто кормить в нейрорендер Тома и Джерри и кричать в монитор "Сделай в том же стиле!".
Поглядите примеры тут
https://primecai.github.io/generative_rendering/
Вот тут новая работа от Адобченко.
Там на первый взгляд ничего нового, такое уже делали в Блендоре год назад. Берется трехмерная сцена, рендерится в очень грубом качестве, а потом с помощью ControlNet, который читает глубину из грубой сцены, все это дело считается в Stable Diffusion.
Тот самый нейрорендер, о котором я много писал.
Но тут есть два момента.
- Они утаскивают из трехмерной сцены не только глубину, но и UV, пытаясь стабилизировать текстуру.
- Это работа от Адобченко и Стэнфорда. Поэтому ответочка от Адобченко на поле text-to-video или text-to-animation все ближе.
Они честно сравнивают свои результаты с GEN-2 и честно говорят, что их результаты говно в сравнении с RunwayML. Но обещают опен-сорснуть это дело и улучшить качество:
We believe that applying some of findings to pre-trained video diffusion models to augment them with 3D controllability is an exciting future direction.
Ну и мне видится такой нейрорендеринг, как еще один рендер-движок в числе Октанов, Редшифтов, Арнольдов, Рендерманов и Мантр. Который как бы берет на себя часть работы по текстурированию, освещению, эффектам, шейдерам и прочему лукдеву.
Но вопрос анимации остается открыт. Пока мы все видим, грубо говоря, примеры анимации в виде нейромокапа, когда плящущих тянок просто тянут из видео эклером, получая плоский мокап. Как анимировать все остальное (проптсы, окружение, камеру, текстуры, свет, фокус, оптику, и еще тонну всего) - вопрос пока открыт.
И тут вопрос, а надо ли?
Может зритель скушает все то, что наворотит ИИ (ему, ИИ, виднее, как ввести зрителя в прелесть и искушение). И тогда аниматоры пойдут в разметчики видосов, которые генерит ИИ - вот тут годно, а вот тут не-дисней-ни-разу.
Пока выглядит так, что скилы для работы в Блендорах и Майях могут либо скоро понадобиться, чтобы шевелить не только тянок для будущего нейрорендера.
Либо можно будет просто кормить в нейрорендер Тома и Джерри и кричать в монитор "Сделай в том же стиле!".
Поглядите примеры тут
https://primecai.github.io/generative_rendering/
Источник: Метаверсище и ИИще
2023-12-05 12:38:54