Моя самая любимая статья по диффузионным моделям —...

Моя самая любимая статья по диффузионным моделям — это Elucidating the Design Space of Diffusion-Based Generative Models, NeurIPS 2022.

Статья настолько плотная получилась, что её, как хороший роман, нужно перечитывать несколько раз. В ней авторы собрали все, что мы знаем о диффузионных моделях в плане теории, переосмыслили, упростили и выкатили общую формулировку прямой и обратной диффузии. Дифференциациальные уравнения, которые они вывели, описывают все предыдущие формулировки (например, DDPM, DDIM и др.), причем более интуитивно. Ещё оказалось, что во время инференса можно решать любые выбранные диффуры, даже если модель тренировалась с другой формулировкой. Главное чтобы модель оценивала "скор" d log p(x_t) / dt, указываеющий в сторону более высокой плотности данных при текущем уровне шума t.

Самое мясо со всеми доказательствами, конечно, в аппендиксе на 30+ страниц. Рекомендую, если хотите глубоко понять суть диффузионных моделей (ту же Stable Diffusion). Но придется поразбираться пару дней.

@ai_newz