​С наскока статью Elucidating the Design Space of Diffusion-Based Generative Models, Karras et al. 2022 (↑) трудно разобрать, тут нужно хотя бы базовое понимание диффузии в вероятностном смысле. Ну, и конечно много матана и дифференциальных уравнений.

Поэтому вдогонку прилагаю для факультативного изучения:

— Блогпост от Lilian Weng (OpenAI) с введением в диффузионные модели (вероятностная трактовка).

— Статью Score-Based Generative Modeling through Stochastic Differential Equations, ICLR 2021, без которой тоже не обойтись, её нужно читать параллельно с "Elucidating ..".

— Туториал Denoising Diffusion-based Generative Modeling: Foundations and Applications с CVPR 2022. Трехчасовое видео.

— Туториал Denoising Diffusion Models: A Generative Learning Big Bang с CVPR 2023.

— Четкую книгу по диффурам, Applied Stochastic Differential Equations, Särkkä & Solin, которая поможет прояснить некоторые моменты в доказательствах.

Совместно с чтением кода семплеров из репозитория k-diffusion, которые иплементируют методы из статьи Karras et al. 2022, этих материалов будет достаточно, чтобы разобраться в диффузии на PRO-уровне.

Вперед изучать, не бойтесь начать!

#ликбез
@ai_newz