Stability.ai выкатили Stable Video 3D: 3D mesh из одной картинки через костыль в виде генерации видео

По одной фотографии Stable Video 3D генерит видео с вращающимся объектом, достраивая недостающие планы. Можно задать самому с каких углов генерить облет вокруг объекта. Получается видео, которое затем можно использовать для обучения NeRF и экстракции 3d меша. Сама моделька строится и файнтюнится из базовой Stable Video Diffusion.

Если использовать апскейлер (5 очков грифиндору за смекалку), то качество видео действительно улучшается, но вот меш все такой же кривой и бесполезный.

Модель влазит в 4090 (24GB VRAM), но с трудом. Нужно выставить параметр `decoding_t = 5` в `simple_video_sample.py`.

Сайт проекта
Модель и код

@ai_newz