CGIT_Vines
2024-04-19 09:37:19
Смотрите и запоминайте, вот эти приемы с ними точно работать не будут!
2024-04-16 06:58:26
Только что Tencent выкатил модель Instant Mesh, попробовать уже можно тут.
В отличие от остальных моделей, которых я, наверное, тонну перепробовал, в этой показан процесс генерации дополнительных ракурсов, т. к. модель на входе работает только с одним ракурсом и на основе дополнительных видов достраивает геометрию. Вполне неплохо держит контекст исходной картинки.
Прекрасно, дайте нам возможность управлять этими ракурсами, пусть мы сможем догенерировать с каждого вида то, что нам нужно. И раз геометрия почти на лету просчитывается, дайте возможность примитивами ее достраивать.
То, что сетка и текстуры такие мыльные, это вообще не проблема для демки, у нее задача другая. В целом это вообще не проблема, как вы понимаете.
2024-02-26 22:26:33
Не-не-не, погодите, я не... я даже не ждал, что так быстро...
Все гораздо хуже, если это правда, никаких перескакиваний в 10 лет через привычные пайплайны. Это прямо сейчас происходит!!!
Гугл выкатил генерацию игрового видео! Т. е. сгенерировал и играй, просто вот так, покадрово, 30-60 fps!!! Какая же ты тварь, все-таки, Гугл! (Благо это будет в будущем, и это пока только прототип.)
Генерируется пока супермаленькое разрешение, даже не знаю, пытаюсь хоть какие-то плюсы найти... Представление о генерируемых мирах Сеть Genie берет из миллионов лет интернет-видео, со стримов, видимо.
Оно даже учится придумывать, видимо, управление и выучивать происходящее на экране как определенное действие. Забиндить это потом на клавиши, как вы понимаете, не составляет проблемы.
Читать подробнее тут
2024-02-22 15:17:36
Заанонсили Stable Diffusion3!
Набор моделей варьируется от 800M до 8B параметров.
Безопасность в анонсе на первом месте! Как бы генерации хуже не стали.
Вейтлист тут
Даты выхода пока нет.
2024-02-19 09:31:22
Получение трёхмерных сцен из видео с достраиванием недостающих ракурсов — это просто вопрос времени. Вопрос очень ближайшего времени! Об этом говорит Peggy Wang, в прошлом студент Стенфорда по ИИ и робототехнике, также бывшая сотрудница RealityLabs. С её слов, она в данный момент занимается подобной работой.
Второй важный звонок заключается в том, что старший научный сотрудник Nvidia по созданию фундаментальных моделей для агентов ИИ, робототехники и игр утверждает, что SORA — это не просто рандомно галлюцинирующая сеть, как DALL·E или ей подобные, а сеть, в основе имеющая физический движок, управляемый данными. То, что она создаёт, это не просто выученные паттерны; это, как он утверждает, расчёты, и приводит в пример чашку кофе с двумя плавающими в ней кораблями. Вероятно, внутри своего пространства SORA создаёт трёхмерную среду, внутри которой происходит анимация объектов и их симуляция.
Самое страшное, если всеми этими параметрами дадут управлять, тогда повалятся по эффекту карточного домика многие пайплайны, которые устанавливались десятилетиями. Как следствие мы получим полностью генерируемые и управляемые по наполнению среды.
Я, честно, пишу и сам с трудом в этом верю, просто потому, что у меня пока не умещается это в голове.
2023-11-01 07:58:05
Мы приближаемся к диффузии в реальном времени. Real-Time-Latent-Consistency-Model.
Я запустил это примерно в 6 fps, просто из браузера со своего телефона, потому что стримится все равно с сервера.
Экспериментируйте с промптами и скидывайте свои результаты в комменты.
Попробуйте тоже, только дайте разрешение камеры на съемку. Сервер правда частенько лежит из-за наплыва желающих, но вы пробьетесь, я знаю!)
Неплохое начало для понедельника.
Тестить тут.
2023-09-08 13:01:53
Сервис по нейро-переводам стал доступен для тестов. За один доступный кредит вы можете протестировать видео от 30 до 50 сек.
Когда мы определяем зловещесть долины, мы смотрим сначала на глаза, потом на рот собеседника. Т.к. с глазами тут порядок, мы смотрим на рот, и тут как раз Heygen подменяет ваш липсинг на родном языке на липсинг языка, который вы выбрали для перевода. Хорошо ли он справляется, решайте сами.
Но меня подкупило использование сразу нескольких новых технологий: сам перевод, дипфейк и войс-рекогнишн.
Попробовать можно тут
2023-05-04 04:53:23
В ближайшем будущем каждый пиксель будет не отрендерён, а сгенерирован.
На будущем Siggraph Nvidia представит около 20 исследовательских работ. Конечно, большая часть будет посвящена нейронкам.
Пара моментов мне показалась очень интересными. Это нейронное сжатие текстур до 16 раз. Текстуры будут оставаться невероятно чёткими при меньшем занимаемом объёме. Сейчас, как известно, именно текстуры занимают большую часть дистрибутива.
Далее это нейронная физика для волос (пока для волос), работающая на предсказании движений: каждый волосок больше не рассчитывается отдельно, что тоже ускорит просчёт и добавит реализма.
И третье – это визуализация сложных, многослойных кинематографичного качества материалов в реальном времени.
2023-04-19 13:51:20
Nvidia дропнула новую модельку
text2video. Качество заметно подросло по сравнению с предыдущими, но это всё ещё не идеальный вариант.
К сожалению, попробовать пока негде, есть только страница проекта с описанием.
Так что пока любуемся Штурмовиком, пылесосящим пляж. В комменты можете кидать удачные примеры использования.