К вопросу о новизне

К вопросу о новизне. И генерация уникальности.
Remix Mode в Midjourney уже показал, что можно делать картинки явно выходящие за рамки "да он ничего нового не может придумать".
Но кожаные все равно цепляются за идею, что раз его накормили картинками, он будет выдавать линейную интерполяцию картинок. А то, что там зашито кожаное восприятие и мышление через подписи и промпты их не трясет.

Тут вот исследователи пошли еще дальше и поставили задачу генерации новизны в приоритет.

Как мы можем сгенерировать новую, воображаемую концепцию, которая никогда не встречалась ранее? В этой статье мы представляем задачу творческой генерации текста в изображение, в которой мы стремимся создать новые примеры в широкой категории (например, создать домашнее животное, отличающееся от всех существующих домашних животных). Мы используем малоизученные модели диффузионных приоритетов и показываем, что задача креативной генерации может быть сформулирована как процесс оптимизации над пространством выходов диффузионного приоритета, что приводит к набору "предварительных ограничений". Чтобы сгенерированная нами концепция не сходилась с уже существующими, мы включаем в нее модель Vision-Language Model (VLM), которая адаптивно добавляет новые ограничения в оптимизационную задачу, побуждая модель открывать все более уникальные творения.

Генерация творчества, в общем.

P.S. Примеры в статье меня не очень впечатлили (построено на kandinsky2 library), но сам дерзкий подход к выходу за пределы привычных образов и генерации уникальности мне нравится.

https://kfirgoldberg.github.io/ConceptLab/

Код есть, можно пробовать.