Вы уже заметили, что есть две конкурентные статьи...
Вы уже заметили, что есть две конкурентные статьи со схожей идеей: Наша Cache Me if You Can и работа DeepCache, которая появилась на архиве пару дней назад.
Основная разница в том, что в DeepCache алгоритм кеширования примитивный, мы же предлагаем более общий и адаптивный подход:
1️⃣ В DeepCache авторы вручную выбирают, какие блоки кешируются, и алгоритм пересчета кеша для всех блоков фиксированный. У нас же все адаптивно - автоматически подбираем какие блоки кешировать и как часто пересчитывать кеш. На картинке как раз показан алгоритм пересчета кеша, котрый мы получили для LDM c 20 шагами DPM++.
2️⃣ За счет этого наш алгоритм из коробки работает на разных text2image архитектурах, мы протестили на LDM c 900 млн параметров (аналог SD 1.5) и на Emu с 2.7 млрд параметров.
3️⃣ Мы предложили трюк с обучением shift & scale для кешируемых блоков, что сильно добрасывает качества, убирая мелкие артифакты.
4️⃣ У нас метрики от кеширования не падают как в DeepCache. И картинки получаются лучшего качества.
5️⃣ Мы показали, что при фиксированном бюджете на вычисления, Cache Me if You Can улучшает результаты генерации по сравнению с бейзлайном без кеширования, так как с нашим кешированием можно успеть прогнать большее число шагов солвера за фиксированное время. Например, вместо 14 шагов DPM++ для бейзлайна можно успеть прогнать 20 шагов DPM++ с нашим кешированием.
6️⃣ У нас можно варьировать trade-off между скоростью и качеством, меняя один гиперпараметр, который адаптивно определяет время жизни кеша для разных блоков. Чем больше врмя жизни кеша - тем быстрее инференс. После определенного порога скорость идет в урон качеству.