FreeControl: Training-Free Spatial Control of Any Text-to-Image Diffusion...

FreeControl: Training-Free Spatial Control of Any Text-to-Image Diffusion Model with Any Condition

Давайте я вам проясню за FreeControl, которые в сеточке называют убийцей ControlNet-а.

Да, это крутая штука, код которой выпустили 3 дня назад, уже прикрутили в Комфи и вот-вот запилят в A1111. Он позволяет контролировать картинку похожими на ControlNet инструментами и добывать из картинок разную информацию.

Разница:
ContolNet - это куча обученных моделей. Гигабайты, которые вы кладете в нужные папочки. И код к ним, которые все это читает и исполняет.

FreeControl - это просто код. Точка. Он не использует никакие предобученных моделей.

Плюсы - скорость, удобство установки, простота и частота обновлений.
Минусы - качество и контроль. FreeControl скорее всего будет проигрывать в качестве и точности контроля КонтролНету.

Вопрос в задачах. Возможно он закроет 90% ваших нужд. Надо тестировать.

В примерах они умеют читать PointCloud, интересно...
https://genforce.github.io/freecontrol/