Stable Diffusion + Grounding DINO + Segment Anything...

Stable Diffusion + Grounding DINO + Segment Anything = Grounded-Segment-Anything

Вчера я пислал про то, как было бы круто поженить Segment Anything и Stable Diffusion.

Это свершилось, и свершилось довольно быстро, учитывая, что SA только вышла на прошлой неделе.

Grounded-SAM — это проект, который объединил несколько моделей для контролируемого редактирования отдельных регионов изоюражания.

Segment Anything - мощная модель сегментации, но требует подсказок (таких как рамки/точки) для создания масок.

Grounding DINO - сильный zero-shot детектор, способный выдавать качественные рамки по текстову промпту.

Объединив, Grounding DINO и SA, мы можем по текстовому промпту генерировать маску, отвечающую описанию, а затем подавать картинку с маской в Stable Diffusion (или другую txt2img модель) и редактировать заданный регион.

Применять можно как в художествах, так и для генерации множества синтетических, но реалистичных аугментаций для тренировки других моделей.

Код на гитхабе.

@ai_newz