Для тех, кто в хардкорной графике

Для тех, кто в хардкорной графике. ИИ-ротоскоп и композ.
Пост для гиков.

Мой хороший друг и легенда в мире композа Витя Перец запостил у себя новость о том, что у Фаундри (которая написала Nuke) есть A.I. Research Team и они ищут QA-инженера с опытом ротоскопа.

"Лучшая софтверная компания в мире ищет инженеров с опытом работы в AI... все мировое сообщество Nuke будет любить вас вечно, а ваше имя будет вытатуировано в сердце каждого композитора, если вы решите проблему автоматического рото с помощью AI... пиво за мой счет!"

Народ в коментах трактовал это как Фаундри ищет ML-инженера и там разгорелись битвы по поводу ИИ-ротоскопинга. Хотя в описании вакансии типичный QA-тестировщик. Есть лишь пожелание "Experience and knowledge of machine learning and A.I."

То, что Foundry пилят ML-ноды уже давно не секрет. Вопрос в темпах и в том, почему они до сих пор не прикрутили богатое наследие Stable Diffusion в Mari, и весь этот open source tracking в Nuke. Вариантов применения - тонны. Но как и все софтверные гиганты, Фаундри поднимает веки очень медленно.

И как обычное самое сладкое нашлось в коментах.

Rotofury - это набор скриптов для Нюка, которые имплементируют опен-сорсный CoTracker от Метачки - быстрая модель на основе трансформеров, которая может трекать любую точку на видео.

Про Cotracker можете почитать тут, выглядит убойно. И классно то, что народ уже прикручивает это в профессиональные софты типа Нюка в виде Rotofury, чтобы это не оставалось демками на Хаггинг Фейсе.

Там же в коментах обнаружился Omnimotion:

Имплементация работы Tracking Everything Everywhere All at Once

Ну и грех не упомянуть, что Влад Ахтырский пилит свой Мега-ИИ-Комбайн для Нюка, где есть все на свете, от рото и кея, до автоматической генерации проектов в Нюке:
https://youtu.be/lrYVCpqn8FE?si=wbLgZ7wQEGMwQEvV
Это, пожалуй, самый интересный проект по применению ИИ в композе.

p.s. На сладкое одна история с Витей Перецом. Он был одним из ключевых спикеров на одном из моих cg event-ов.
Сидит, Витя, как обычно, со своим 8-килограмовым ноутом, ядерной видеокартой и атомным процессором готовится, колдует в Нюке. Потом закрывает его, и ждет времени начала выступления. Сетапимся, подключаемся, Витя открывает ноут, но тут винда решает, что уже ночь на дворе и пора поставить обновления. И ставит. На большом экране. 5 минут, 10 минут, 15 минут. Я рассказал все свои шутки за 10 лет, задал все вопросы Вите, спросил все что мог у зала. Через полчаса винда обновилась. С тех пор я могу тянуть время на выступлениях вечно, говорить о чем угодно, и писать любое количество постов в день. Не позволяйте винде ставить обновы автоматически!