А вот интересная работа по генерации лиц в...
А вот интересная работа по генерации лиц в 3Д.
Я уже подвел некий промежуточный итог по поводу генерации 3D нейронками, читайте по тэгу #3dgen
Мой диагноз такой: мало датасетов для генерации 3Д с хорошей топологией (шутка ли, что для датасетов парсят гитхаб по расширению .obj, где половина файлов - объектники из С-компиляторов). Для плохой топологии уже полно облаков точек, на которых можно учить нейросетки - на выходе будут статичные 3Д-истуканчики, годные для облетов в интернет магазинах и виарчике с плохими текстурами.
Также я топлю за то, что генерация в 3Д будет параллельно развиваться в узких классах, главный из которых - головы.
В этой работе уже есть UV-развертки и гордые заявления "Our synthesized faces can be semlessly integrated to existing CG pipeline, enables animation or relighting."
Но судя по тому, что они используют SDS - сетки там плохие, но передающие большее количество деталей. Приведенные примеры с анимацией и полное отсутствие информации о топологии лишь усиливают эту гипотезу.
Осталось взять их результат и спроектировать на 3Д-модель с нормальной топологией. Не руками.
Для гиков: By incorporating texture-less rendering in conjunction with SDS, we induce the T2I model to provide geometric-related priors, inciting details (e.g.,
wrinkles, lip shape) in the generated geometry. Building upon the generated geometry, we leverage ControlNet to force the SDS to be aware of the geometry, ensuring precise geometry-texture alignment. Additionally, we fine-tune a texture diffusion model that incorporates both RGB and YUV color spaces to compute SDS in the texture domain, enhancing the quality of the generated textures.
https://arxiv.org/pdf/2312.00375.pdf
https://faceg2e.github.io/
#3dgen
Я уже подвел некий промежуточный итог по поводу генерации 3D нейронками, читайте по тэгу #3dgen
Мой диагноз такой: мало датасетов для генерации 3Д с хорошей топологией (шутка ли, что для датасетов парсят гитхаб по расширению .obj, где половина файлов - объектники из С-компиляторов). Для плохой топологии уже полно облаков точек, на которых можно учить нейросетки - на выходе будут статичные 3Д-истуканчики, годные для облетов в интернет магазинах и виарчике с плохими текстурами.
Также я топлю за то, что генерация в 3Д будет параллельно развиваться в узких классах, главный из которых - головы.
В этой работе уже есть UV-развертки и гордые заявления "Our synthesized faces can be semlessly integrated to existing CG pipeline, enables animation or relighting."
Но судя по тому, что они используют SDS - сетки там плохие, но передающие большее количество деталей. Приведенные примеры с анимацией и полное отсутствие информации о топологии лишь усиливают эту гипотезу.
Осталось взять их результат и спроектировать на 3Д-модель с нормальной топологией. Не руками.
Для гиков: By incorporating texture-less rendering in conjunction with SDS, we induce the T2I model to provide geometric-related priors, inciting details (e.g.,
wrinkles, lip shape) in the generated geometry. Building upon the generated geometry, we leverage ControlNet to force the SDS to be aware of the geometry, ensuring precise geometry-texture alignment. Additionally, we fine-tune a texture diffusion model that incorporates both RGB and YUV color spaces to compute SDS in the texture domain, enhancing the quality of the generated textures.
https://arxiv.org/pdf/2312.00375.pdf
https://faceg2e.github.io/
#3dgen
Источник: Метаверсище и ИИще
2023-12-04 13:01:28