Немного отвлечёмся от мира AI и поговорим (снова)...

Немного отвлечёмся от мира AI и поговорим (снова) про Виртуальную Реальность.

В новой работе VR-NeRF: High-Fidelity Virtualized Walkable Spaces от МЕТА показывается, как можно с помощью «Эйфелевой башни» из более чем 20 камер отснять некоторое пространство (помещение), а затем обучить нейросеть рендерить картинку с разных позиций и углов. Более того, затем это всё можно рендерить для VR-очков (со всеми приколами в духе учёта кривизны линз и разных позиций глазниц) в разрешении 2K×2K (но увы всего в 36 FPS). И это ещё при рендере на multi-GPU!

Собственно, после этого гарнитуру можно надеть и ходить по своей комнате, видя перемещения в фотореалистичной и детально воссозданной виртуальной. Отличительная особеность — высокая точность геометрии, а также натуральность и насыщенность цветов (про демку даже пишут: These videos are encoded using HEVC with 10-bit HDR colors and are best viewed on a compatible display with HDR support, e.g. recent Apple devices).

В общем, еще немного оптимизаций и ускорений, и можно будет не вылезать из метавёрса. При этом аххахах идеальная комната для жизни в реальном мире — это большая пустая комната, где ничего нет :) ...c мягкими стенами и полом

😁

Посмотреть больше демо-видео пролётов или прочитать детали можно на официальном вебсайте проекта.
Датасет на 900 гигабайт со всеми HQ фотками тоже выложили.