Аватарифай на стероидах

Аватарифай на стероидах.

Тут не знаю, за кого выпить в первую очередь: за тикток танцы, за вебкам, за цифровых инфлюенсеров, за аниматоров...

Про вебкам уже выпивал, кстати.

Одно время назад интернетик полнился анимацией портретов (типа Аватарифай) - загружаешь фотку (Мону Лизу, например), а ИИ заставляет ее кривляться или корчить разные смешные морды. Проекты типа D-ID берут морду лица и учат ее говорить всякие глупости.

Но постепенно ИИ добирается и до, скажем так, поясного плана, включающего в себя руки, плечи и часть корпуса.

На входе одна фотка и какой-то примерчик из библиотеки движений. И вот уже ваша фотка лихо пляшет на видео, размахивая руками.

Тут я подумал, что анимации можно брать из предыдущего поста.

По сравнению с тем, что раньше все эти цифровые инфлюенсеры делали тупую пересадку сгенерированного лица на реальные фото и видосы (по сути дипфейки), это уже шаг навстречу полной генерации и лица и тушки.

И есть код и проект:
https://github.com/fudan-generative-vision/champ
И объяснялка:
https://www.youtube.com/watch?v=2XVsy9tQRAY

И даже сами можете попробовать!
https://replicate.com/camenduru/champ