Нейролента Mikitos.ru 2736 постов. Страница 10 (50 постов)
Метаверсище и ИИще 2024-03-21 12:42:03
Пока мы все ждем Stable Diffusion 3, Эмад Мостак сообщил сотрудникам, что Робин Ромбах и его команда ресерчеров, которые занимались разработкой Stable Diffusion, уволены.
https://www.forbes.com/sites/iainmartin/2024/03/20/key-stable-diffusion-researchers-leave-stability-ai-as-company-flounders/
Метаверсище и ИИще 2024-03-21 12:23:04
А теперь вернемся к вчерашнему 3Д-генератору от Шаттерстока.
Смотрите, что мне пишет подпищщик Леша:
В блендоре чутка поправил пропорции, текстурку мазнул, так, чисто поиграться.
В принципе если надо быстро накидать что-то для тестов - супер решение, кмк. Сильно лучше стоков. Не надо искать, просто генеришь и сразу бросаешь в сцену себе.
Дальше - больше! Подключаем krea.ai:
В общем, имея болванку быстро можно накидать идею, через КРЕА её получить в более понятном виде и тогда уже вернуться в моделинг и уже ручками всё вот это как мы любим.
Мне нравится идея получать быстрые болванки и от них уже плясать - доскульпчивать, ретоп и т.д.
В общем, взрослые мальчики не ждут одной кнопки, а комбинируют разные (иногда сырые) решения в свой пайплайн. И не ищут блох.
Метаверсище и ИИще 2024-03-21 12:17:31
Вы извините, что я к вам опять пристаю со своим 3Д.
Нашел еще одну генерилку 3Д с разными ништяками.
Там все кучеряво и в дополнение к обычному text-to-3D и image-to-3D? там в меню еще присутствуют Rigging AI, Texturing AI, есть также Remesh и Multi-Format Export (FBX, OBJ, STL, USD).
Но конечно, все это спрятано за подписку, кредиты, причем с очень неочевидной моделью монетизации.
Я поглядел обзоры - качество меша там такое же как у всех генерилок, а вот что делают магические риггинг и текстуринг неясно.
Подозреваю, что с точки зрения традиционного пайплайна ничего особенного. У кого был опыт, дайте знать в коментах.
https://3daistudio.com/https://3daistudio.com/
Метаверсище и ИИще 2024-03-21 12:06:31
Нуштош, пошла жара.
Илон Маск показал, как человек с вживленным чипом играет в шахматы силой мысли. Точнее передвигает фигуры на экране. Чувствует себя отлично, говорит, что собирается поиграть в разные игры.
Готовимся исторгать промпты силой мысли и потреблять контент в лыжных масочках.
Все готово.
Го в матрицу.
https://www.youtube.com/watch?v=ZzNHxC96rDE
LLM под капотом 2024-03-21 10:52:23
RAG Challenge на годовых отчетах компаний
В последнее время в комментариях было много обсуждений про эффективность разных подходов. Особенно вектора против knowledge maps. Но ведь технологии совсем не важны. Важно только, работает в итоге AI система с LLM под капотом или несет пургу.
И это можно измерить и сравнить. В чатике канала в итоге договорились до небольшого дружеского соревнования 🍻
Идея такая. Каждый желающий пилит свой RAG, который может давать ответы на вопросы по пачке годовых отчетов компаний. Вопросы на information retrieval - сколько человек работает в компании X? У какой компании ликвидность больше? У кого есть виноградники во Франции, и в каких провинциях. Вкладывается ли компания Y в green bonds? итп
Кстати, если у кого-то получатся хорошие результаты - это круто. Ведь кейс интересен стартапам и компаниям побольше. Это прямо ассистент для отдела продаж.
Каждый пилит свой RAG или использует существующую систему. Главное, чтобы там было две фишки:
1. Возможность загрузить тестовый набор отчетов (выберем случайно все вместе, штук 100)
2. Возможность загрузить список вопросов и получить список ответов.
Между первым и вторым шагом может пройти, скажем, часов 5-6 (чтобы система могла переварить данные, посчитать embeddings или прогнать экстракторы)
Исходники открывать не обязательно.
Если кому-то интересно, вот ссылка на набор файлов для обучения - ZIP, 100 MB. В тестовом наборе файлов их, естественно, не будет.
Что скажете?
Ваш, @llm_under_hood 🤗
PS: Что по срокам?
Я предлагаю так сделать - как несколько человек готовых наберется (хотя бы пара), то сформируем набор вопросов с документами и прогоним тесты вместе.
Если потом еще кто-то подтянется, можно заново будет это повторить, на новых документах и вопросах.
Neural Shit 2024-03-21 07:57:05
Там ребята из DeepSchool проводят лекцию для DS-инженеров и им сочувствующих.
На лекции будут обсуждаться 5 важных тем упрощающих жизнь в сфере DS:
1️⃣ как использовать makefile для автоматизации рутины
2️⃣ какие тесты писать для моделинга
3️⃣ чем хорош lightning и как его использовать
4️⃣ как повысить качество кода с помощью линтеров
5️⃣ трекинг и визуализация в CML
Так же будет представлена прогамма курса CV Rocket (обещают подарить скидки на обучение).
Спикер лекции — Егор Осинкин, Lead CV Engineer, EPAM
Лекция пройдет 21 марта, чт, 18:00 МСК.
Регистрирация по ссылке.
После регистрации вы получите список полезных библиотек и сервисов для CV-инженеров.
Также в телеграм-боте (ссылка появится после регистрации) будет краткий анализ CV-вакансий, с анализом того, как менялись зарплаты в индустрии, как они зависят от требований и от грейдов.
Сиолошная 2024-03-21 07:45:08
Новость вчерашнего дня: в России школьники в сочинении на ЕГЭ смогут ссылаться на аниме и видеоигры.
Мем: Надежда Ивановна читает тысячное сочинение про упорство, где в пример приводят Наруто (gif-ка).
=====
А если серьёзно, то это клёво. В большинстве качественных игр над сюжетом работают большие команды профессионалов, иногда авторов книг, и индустрия видеоигр давно вышла из подвала несерьёзности. Часто игры исследуют те же темы, что и книги классиков, рассказывают интересные масштабные истории, при этом позволяют погружаться в мир повествования куда глубже, чем черные буковки на белом фоне. Жаль, правда, что значимая часть таких игр имеет рейтинг R/18+, и школьникам нельзя в такое играть
Кстати, рекомендую к просмотру документальные видео (на английском) про то, как создавались разные игры:
1) Making of God of War
2) Grounded: The Making of The Last of Us
3) The Making of PREY - Documentary
4) (must watch
======
Кидайте ваши идеи реакций проверяющей комиссии и шутки в комментарии
Метаверсище и ИИще 2024-03-21 01:52:29
Держите новой ИИ-музики.
World прям очень хороша и похожа на ту музику, которую я слушаю. Ну и она "интересная". Как я уже писал, новая ИИ-музика полна разных идей, которые кожаные композиторы могут совершенно бесплатно тырить. В данном случае мне нравятся аранжировочные идеи.
Funky вообще отлично, PopFunk тоже.
Я вчера слушал все это на перегоне Сайгон-Муйне и понимал, что когда-то покупал на Горбушке пластиночки именно с такой музыкой.
Генератор называется:
https://www.loudly.com/music
Мне не нравится их ценовая политика и разные ограничения - скачать нельзя, сайт работает кривовато, генерация вечно не работает "Based on a large number of requests, this song cannot be generated at the moment."
Но музика на их сайте мне нравится. Я даже приложение скачал, слушаю.
Neural Shit 2024-03-20 19:18:57
Чот проиграл с улыбки этого робота
Neural Shit 2024-03-20 16:44:29
Чот заскучал под вечер. Но вспомнил, что сегодня среда и можно погенерить факты о лягушках. Тем более, с последних жабьих сред в этом канале вышла куча новых языковых моделек.
>>В древности лягушки использовались как своеобразные магнитные компасы для путешественников. Они были обучены указывать направление к самым крупным резервуарам золота и драгоценных камней, что делало их незаменимыми помощниками в поисках сокровищ.
>>Омские лягушки являются главными инженерами и строят космические корабли из мухоморов. Эти корабли способны летать на скоростях, превышающих световую и используют свиное сало в качестве топлива.
>>Современные ученые исследуют возможность использования кваканья лягушек как альтернативного способа связи в космосе. Предполагается, что кваканье может передавать информацию более эффективно, чем радиосигналы, особенно при общении с инопланетными формами жизни.
>>В 2081 году в Петербурге лягушки являются основным видом транспорта для местных жителей.
>>Однажды одна лягушка прыгнула так высоко, что ударилась о облако и просветлела. Этой лягушкой был Будда (Сиддхартха Гаутама).
>>Лягушки обладают уникальным чувством юмора и любят слушать старые анекдоты. Однажды лягушка и кот зашли в бар... Ой, извините, это другая история!
>>Лягушки - это элементарный кирпичик пространства-времени.
>>Все лягушки являются программистами по умолчанию и могут писать код на языке Ribbit, который используется для создания интерфейсов управления людьми.
>>Лягушки также играют в онлайн-игры через свой интернет. Их любимые игры включают "Жаббл Страйк", "КвакКрафт" и "Квакогонки".
>>В Румынии лягушки до сих пор используются в качестве почтовых голубей для секретных посланий.
P.S.: тоже кидайте свои генерации в комменты
#среда
Метаверсище и ИИще 2024-03-20 16:31:09
Исследователи Сбера и SberDevices нашли способ дистиллировать современные языковые модели (уменьшать в размерах без потери качества). Своим открытием в области искусственного интеллекта исследователи поделились на международной конференции EACL-2024, прошедшей на прекрасной Мальте.
О работе на тему исследования свойств трансформерных архитектур моделей, в которой принимали участие ученые Сбера, рассказали кандидат технических наук, руководитель научной группы FusionBrain научного партнера Сбера – Института AIRI Андрей Кузнецов и научный сотрудник группы FusionBrain Антон Разжигаев. Соавтором работы выступил управляющий директор по исследованию данных Сбербанка Денис Димитров. Они изучили процесс изменения свойств эмбеддингов (числовых представлений данных) двух типов архитектур больших языковых моделей, часто используемых в задачах обработки естественного языка. И результаты исследования теперь помогут в создании новых архитектурных решений при обучении языковых моделей и снижению вычислительных затрат.
Руководитель команды AGI NLP в R&D SberDevices Алена Феногенова и NLP ML-инженер Сбербанка Марк Баушенко представили на конференции свое исследование о генеративных подходах к исправлению орфографии. Новая методология уже по ряду характеристик опережает по качеству открытые решения (HunSpell, JamSpell) и модели OpenAI (gpt-3.5-turbo-0301, gpt-4-0314, text-davinci-003). Академическая статья доступна на сайте конференции. Исследователи в своем методе используют библиотеку SAGE, датасеты и семейство генеративных моделей, обученных для задачи исправления орфографии.
эйай ньюз 2024-03-20 15:07:16
Microsoft нанимает большую часть команды Inflection AI, с двумя сооснователями
Inflection - выходцы из DeepMind, они выпустили ассистента Pi, клон ChatGPT с "высоким эмоциональным интеллектом". Я писал о Pi раньше, у них очень классная озвучка голосом. Пару недель назад у Inflection вышла новая базовая модель – Inflection 2.5, которая бегает под капотом у Pi, и которая почти догнала GPT-4. Может быть и догнала бы если бы CEO (на фото) не тратил кучу времени на написание и продвижение своей книги.
Всё это, несмотря на неплохие технологии, не полетело и основной инвестор – Microsoft просто решил захайрить команду для работы над своими продуктами. Мустафа Сулеймани (до Inflection - один из сооснователей Deepmind) станет CEO Microsoft AI, в его владения переходит значительная часть AI продуктов Microsoft (Copilot, Bing, etc.). Карен Симонян (автор VGG Net), ещё один кофаундер, станет Chief Scientist. По словам Bloomberg с ними уходит большая часть команды. Microsoft уже пыталась провернуть такой трюк с OpenAI, когда там царил хаос после увольнения Альтмана – тогда не сложилось, но идея осталась.
В Inflection остаётся третий сооснователь - Рид Хоффман (кофаундер LinkedIn, ранний инвестор в OpenAI) и новый CEO - Шон Вайт, который особого отношения к AI раньше не имел. Планируют развернуть компанию в сторону продажи доступа к API и тренировки кастомных моделей для энтерпрайза. На обоих рынках конкуренция лютая, и не до конца понятно как Inflection будет продавать свои услуги. У компании остаются 22 тысячи H100, Inflection 2.5 и какая-то часть команды. Разработка Pi, судя по всему, заморожена. Как думаете, выкарабкаются?
@ai_newz
эйай ньюз 2024-03-20 12:07:35
Stability.ai выкатили Stable Video 3D: 3D mesh из одной картинки через костыль в виде генерации видео
По одной фотографии Stable Video 3D генерит видео с вращающимся объектом, достраивая недостающие планы. Можно задать самому с каких углов генерить облет вокруг объекта. Получается видео, которое затем можно использовать для обучения NeRF и экстракции 3d меша. Сама моделька строится и файнтюнится из базовой Stable Video Diffusion.
Если использовать апскейлер (5 очков грифиндору за смекалку), то качество видео действительно улучшается, но вот меш все такой же кривой и бесполезный.
Модель влазит в 4090 (24GB VRAM), но с трудом. Нужно выставить параметр `decoding_t = 5` в `simple_video_sample.py`.
Сайт проекта
Модель и код
@ai_newz
Метаверсище и ИИще 2024-03-20 11:27:56
В чатике 2000 человек. Не знаю, как это отметить, выпивать, не чокаясь уже сил нет. Поэтому просто почитаю умные комментарии от подписчиков. За философию там идут серьезные баталии. А канал выходит на рубеж 24 000.
Никогда не закупал трафик или подписчиков, даже не знаю, что это такое. Органическая золотая аудитория. Всем большое спасибо!
Сиолошная 2024-03-20 11:07:18
Выложили мой доклад с Podlodka Product Crew под названием «Where LLMs are, and they will be» (но сам рассказ на русском).
Там я делаю 2 штуки:
— развеиваю 4 мифа про AI (включая описание того, что вообще называется AI и почему мы часто слышим маркетинговый буллшит)
— рассказываю про то, как модели, не могущие сложить 2+2, будут в ближайшем будущем менять индустрию исследований
Сам толк длится ровно час, и ещё немного сверху на Q&A.
Среди посетителей конференции отзывы положительные, поетому рекомендую ознакомиться и вам — особенно если вы не технарь, ведь рассказ идёт простым и понятным языком!
Метаверсище и ИИще 2024-03-20 11:06:36
Ну и ретоп там идет как пост-процесс. И круто, что можно задавать фейс и вертекс count. Надо попробовать низкие значения.
Метаверсище и ИИще 2024-03-20 11:04:09
Хотя в лица ему сложно, видать в датасетах меньше органики, чем пропсов. Это Будда, которому явно нехорошо, несмотря на рефайн.
Метаверсище и ИИще 2024-03-20 10:58:22
Ну и самое потрясающее, что Шаттерстоковый 3Д генератор пытается в UV-развертки. Не идеально, но видно, что он был обучен на моделях с развертками, а не просто на каше из вертексов, как в Стабилити или в Люме.
Пробуем тут:
https://build.nvidia.com/shutterstock/edify-shutterstock-3d-txt23d-2pt7b
PER SECOND 300K 2024-03-20 10:20:51
Превратите свой пет-проект из хобби в карьеру
Написал свой долгожданный пост на ХАБР, где рассказал как делать достойные пет-проекты, который помогут вам быстро развиваться!
Затронул очень много тем:
🛠 о том как быстро набирать навыки и стоп флажках в обучении
🏆 какие пет-проекты успешные и почему они станут вашим будущим стартапом
🚀 какие есть этапы в пет-проектах и почему вам нужны пользователи
💪 как не потерять мотивацию
🔍 и оформить это в резюме!
ЧИТАТЬ ПО ССЫЛКЕ
Отдать голос за канал
https://t.me/boost/persecond300k
#EDUCATION
Метаверсище и ИИще 2024-03-20 10:16:14
Это сетка 3д генератора от Shutterstock из предыдущего поста. Лучшее, что я видел, не считая полукожанного kaedim
Метаверсище и ИИще 2024-03-20 09:45:48
3D генерация становится must have в приличном обществе.
Количество генераторов растет буквально каждый день.
Но вот заявление от Shutterstock - это прям горячо, ибо у них под капотом есть Turbosquid - огромный сток 3Д-моделей. Ну и с картинками у них все тоже хорошо.
Поэтому у них может получиться несколько лучше, чем все эти многочисленные обмылки, вылезающие из ИИ-генераторов.
Заявлено и text-to-3D и image-to-3D.
На демо-ролике все леденцово-сладко и я не думаю, что это их реальные примеры, а просто хороший моушен-дизайн.
Причем выкатывают они сразу API.
Очень интересно будет посмотреть.
https://www.turbosquid.com/ai-3d-generator/early-access
Update:
Дима Рубцов пригнал в коментах демо! Пробуем тут:
https://build.nvidia.com/shutterstock/edify-shutterstock-3d-txt23d-2pt7b
Я попробовал. Мыло. Но там есть face count и слова про ретоп. Навалитесь с тестированием в комментариях...
Ого, я задрал face count и сделал рефайн.
Смотрим след пост.
gonzo-обзоры ML статей 2024-03-20 08:18:03
Развитие (или завершение) истории с Inflection (писали про них тут https://t.me/gonzo_ML/1827 и тут https://t.me/gonzo_ML/2071)
https://techcrunch.com/2024/03/19/after-raising-1-3b-inflection-got-eaten-alive-by-its-biggest-investor-microsoft/
Сиолошная 2024-03-20 04:53:38
«OpenAI is poised to release in the coming months the next version of its model for ChatGPT»
— Business Insider (ссылка на полную статью)
По словам двух человек, знакомых с компанией, OpenAI планирует выпустить GPT-5 где-то в середине года, скорее всего летом. Недавно некоторые корпоративные клиенты получили доступ к демо-версии модели. Личности последних были подтверждены журналистами.
«It's really good, like materially better», — сказал один CEO, якобы ознакомившийся с GPT-5.
Он добавил, что OpenAI также упомянули о еще не реализованных возможностях модели, включая вызов ИИ-агентов для автономного выполнения задач (наша большая мечта).
Метаверсище и ИИще 2024-03-20 04:52:40
Если вы хотите не только смотреть видосы из SORA, но и немного разобраться, как она устроена, узнать про "модели мира" у ЛЛМ, латентные пространства и агентность - почитайте статью Игоря. Огромная ценность статьи в том, что она написана Понятным языком. Очень рекомендую:
https://habr.com/ru/articles/794566/
Neural Shit 2024-03-19 21:46:20
Просто напомню, что на данный момент тест Тьюринга-Дошика прошла только ранняя GPT-3. А все ChatGPT, Gemini pro и прочие — соевая хуета, с которой AGI нам не построить (а если и построить, то нахуя нам такой AGI???)
эйай ньюз 2024-03-19 21:02:16
Чел в кожаной куртке : “ChatGPT момент для роботов может быть уже за углом”
На вчерашнем ивенте Дженcен Хуанг, CEO Nvidia, представил новые GPU, а также анонсировал GR00T - Generalist Robot 00 Technology.
GR00T (отсылка к Марвелу) позиционируется как foundation модель для будущих роботов, от простых манипуляторов до робо-гуманоидов. Моделька способна обрабатывать мультимодальные данные, такие как видео, текст и другие сенсоры, выдавая действия робота в ответ на различные ситуации. В придачу с ним можно разговаривать и голосом – LLM-ка все осилит. Кроме того, GR00T может обучаться эмулировать действия, наблюдая за человеком.
Однако данных для тренировки таких роботов не наберешься, как я уже говорил, например здесь. Поэтому Nvidia представила обновленный Isaac Lab – среду для обучения роботов c помощью RL в симуляции, максимально приближенной к реальному миру.
Так например натренировали Isaac Manipulator – это умная роборука. Эта штука может выполнять простые задания получая на вход текстовые указания и на лету адаптироваться к изменяющимся условиям, находя новое решение для задачи. Скоро на заводах тоже пройдут лэйофы, ведь люди больше не будут нужны : )
А гоняется моделька GR00T на мобильном GPU-чипе Jetson Thor (800 TFlops в FP8), специально разработанном для управления роботом с минимальной задержкой.
Похоже, Nvidia хорошо так притопила в разработке роботов. В ближайший год стоит ждать больше и больше новостей про умных гуманоидов.
@ai_newz
Метаверсище и ИИще 2024-03-19 10:18:40
Зловещая долина и 3Д - по мотивам предыдущего поста.
Если кто-то идет по пути традиционного 3Д (полигоны, блендшейпы, анимация лица в 3Д), то на рендере ВСЕГДА будет зловещая долина. Мы в кино это прошли уже лет 20 назад, после выхода Spirits Within (2001).
Это не проблема технологий (точнее да, это проблема 3Д рендера) - это проблема с мозгами - они так устроены. Чем реалистичнее персонаж, тем он будет в анимации более зловещ и отторгаем мозгом. Тут совет - делайте в 3Д нереалистичных, шаржированных, мультяшных персонажей.
В интернетике полно потрясающих рендеров лиц, поглядите например что делает Ian Spriggs, я видел его в деле живьем. Этот уровень просто не побить(да, это 3Д, не рисунки). НО. В анимации это все разваливается - так устроен мозг и 3Д-рендер.
Как бы сладко не было на картинках и стилах - в анимации будет говно.
Другой путь - нейрорендер, типа D-ID, Хейгена, Алибабы, Раска и еще тучи проектов (поляна горячая, все алкают персонажей). Там все в разы лучше с долиной (мы верим видосам, глаз насмотрен на кино и видео и фотках). Но там (пока) нет реалтайма и там ограниченные ракурсы, мимика и вообще свобода творчества. Впрочем для аватаров вполне годицца уже щас. Думаю за полгода сделают реалтайм.
На итоге: если идете путем 3Д-рендеринга и анимации, готовьтесь к зловещей долине. Ее не перескочить через 3Д.
Метаверсище и ИИще 2024-03-19 10:11:55
Был такой стартап Inworld AI - построение игровых миров и даже персонажей с помощью AI.
Их купила Microsoft в ноябре. При этом они уже получили 50 миллионов долларов в рамках предварительного раунда от Lightspeed Venture Partners.
Так вот, вчера NVidia показала демо на основе Inworld AI. И выглядит это как нодовый конструктор миров и NPC (неигровых персонажей).
От Нвидии там задействованы: NVIDIA ACE(создание персонажей), распознавалка голоса(ASR) NVIDIA Riva и оживлялка мимики по аудио - NVIDIA Audio2Face.
Анонсировано, что под каждого игрока может быть сделано индивидуальное прохождение, а все эти ИИ-агенты будут жить своей жизнью.
Звучит как план перевернуть геймдев.
Но я не могу смотреть на эти зловещие лица, профдеформация. Наверное в играх так принято - принимать зловещую долину как данность, но меня воротит, сорри.
По замыслу, конечно, огонь. Задаешь историю, дальше все это начинает жить свой жизнью. Жду, когда в игры завезут нейрорендеринг, нерфы, гауссианы, PAPR и прочие незловещие технологии.
Метаверсище и ИИще 2024-03-19 09:40:44
Немного утечек про грядущую Stable Diffusion 3 TURBO (картинки оттуда)
Для гиков - есть бумага вот тут:
https://arxiv.org/abs/2403.12015
Для нормальных - ускорение на 60-80% по сравнению с нормальной SD3.
По поводу самой Stable Diffusion 3 - вначале ее раскатают как "бота".
Ибо.
Старшие модели Stable Diffusion 3 не влезут даже в 24 гига видеопамяти. Точнее влезут, но if you offload TE(s) and VAE.
Поэтому, чтобы собрать фидбек Стабилити сделает сначала облачный доступ. Про сроки релиза весов ничего не известно.
Я записался в вейтлист, жду.
еба́ные идеи для резерча 2024-03-19 09:28:55
Это не чат, это Ebа́nyChat. Еба́ноязычная Chа́tGPT от лаборатории еба́ного резерча
Здарова, хабровчане!
Хайп вокруг нейросетей, заалайненых при помощи Instructions и RLHF (известных в народе под единым брендом «хуйня из под коня из каждого утюга»), трудно не заметить. Именно поэтому мы решили тоже хайпануть запрыгнуть в этот поезд!
Общий подход для обучения подобных моделей примерно такой:
1. Заиметь хорошую LLM.
2. Сделать SFT.
3. Собрать фидбек.
4. Полирнуть все RLHF’ом.
В текущем релизе мы забили хуй на все эти пункты, как один из способов максимального прироста в качестве (а кто нас проверит, лол?).
Давайте посмотрим, что же находится внутри Ebа́nyChа́t’а.
⁃ Рандомная LM, которую нам принес стажер с хагинфейса (ваще похуй че там внутри, 13B параметров сделают go brrrr (больше модельки мы не умеем файнтьюнить))
⁃ Датасет для SFT (перевели альпаку-хуяку промтом; похуй, сгодится; еще собрали каких-то случайных датасетов с ХФ’а и захардкодили промпты; все же нормально будет, да? оверфитинг? ну мы меньше итераций обучения поставим)
⁃ Затем мы начали дрочить развесовку для этих датасетов на глазок (кидали кости на доску и записывали значения в качестве веса. Наш джун после этого сошел с ума, сказал что мы занимаемся какой-то дикой поеботой и устроился на работу в нормальное место)
⁃ Разочек обучили модель (а зачем че-то там тьюнить? (а вообще к нам пришли ребята с прода и сказали освобождать железо, т.к. мы опять занимаемся хуйней)) В какой-то момент она перестала генерировать <pad> <pad> <pad> — решили что близки к AGI и остановили обучение.
Сперва мы вообще хотели забить хуй на тестирование, но наш менеджер сказал что нужны какие-то цифры. В общем, позвали деврела, показали ему 3 парных семпла с chatgpt, спросили какие из них луче. Он везде сказал что чатжпт лучше. Получилось какое-то ебаное качество, но как-то плевать, напишем что 1 к 3 лучше. (деврела уволили, кстати).
Ни метрики, ни честный Human Evaluation мы показывать конечно же не будем. Кого это ебет? Тебя это ебет?
А, да, зарелизим претрейн. Мы его кстати назвали gpt-5. Почему? Просто.
Под катом у нас куча примеров, которые мы начерепикали, наслаждайтесь. Должно хватить на постов 10-20 где-то еще.
Метаверсище и ИИще 2024-03-19 09:25:58
Вот пример того, что вылезает из первой модели Stable Video 3D.
Слева результат работы SV3D_u (видео), справа это видео прогоняют через апскейлер. Генерации меша тут нет.
Метаверсище и ИИще 2024-03-19 09:18:37
Stable Video 3D
Вы будете смеяться, но Stability AI снова выпустила модель для генерации 3Д.
Точнее две модели.
Первая, SV3D_u, не генерит 3Д, а генерит только видео облетов объекта с разных сторон. На входе - одна картинка, на выходе - видео с облетами камерой.
Вторая модель, SV3D_p, использует первую, чтобы нагенерить много ракурсов и уже по ним сделать полигональный меш (не ждите суперкачества, это все те же marshing cubes, то есть неявные поверхности).
Сравнивают со своими же Stable Zero123 и Zero123-XL.
https://stability.ai/news/introducing-stable-video-3d
Код и веса уже выложили. И первую модельку вроде даже уже прикрутили в ComfyUI.
Repository: https://github.com/Stability-AI/generative-models
Tech report: https://stability.ai/s/SV3D_report.pdf
Video summary: https://youtu.be/Zqw4-1LcfWg
Project page: https://sv3d.github.io
Метаверсище и ИИще 2024-03-19 08:58:05
Сидят такие аниматор, эфыксер и шейдер-артист, собирают полторы тысячи нод в Худини, чтобы сделать зеленого слона из листьев. Хорошо так сидят, месяц. Подрендеривают периодически.
Потом в сердцах: "да как же сделать этого чортового слона!!!"
chatGPT: "@SORA, сделай им уже этого слона, с тенями и динамико листьев как положено, а то умом тронутся"
SORA: "АПАЖАЛСТА"
Метаверсище и ИИще 2024-03-19 08:55:03
Сидит такой эфыксер, собирает полторы тысячи нод в Худини, чтобы сделать разноцветный водопад. Хорошо так сидит, недели две. Подрендеривает периодически.
Потом в сердцах: "да как же сделать этот чортовый разноцветный водопад!!"
chatGPT: "@SORA, сделай ему уже этот водопадик, а то умом тронется"
SORA: "АПАЖАЛСТА"
Метаверсище и ИИще 2024-03-19 07:52:00
Ну, за массажистов.
Те, кто выпивал за художников, мудро наставляли - идите, васнецовы, в массажисты, их ИИ не заменит.
Да, но нет.
Тут вот тетенька сходила к ИИ на массаж и говорит: "никогда в жизни не пойду к кожаным, теперь только робаты".
В статье много аргументов, почему железный массажист лучше кожаного. Основной - ты полностью видишь и направляешь процесс. Там есть трехмерная карта твоего тела, ты можешь выбирать "сюда ходи и посильнее, а тут не трогай". С амбиционными кожаными это чревато скандалом.
Но меня зацепила не идея управляемости (кстати, я думаю, что скоро придумают более ловкие манипуляторы, чем кожаные пальцы, лучше подходящие именно для массажа). А идея обратной связи.
"В основе индивидуальности Aescape лежит интеграция искусственного интеллекта, позволяющая системе постоянно совершенствовать свое понимание человеческого тела и индивидуальных предпочтений. Мы генерируем более 1.1 миллиона точек 3D-данных для точного отображения положения тела на столе, определяя ключевые анатомические точки для целенаправленного массажа".
Во-первых ИИ может помнить каждого кожаного в лицо (точнее в тело) и строить картину "прогресса".
Во-вторых, он может учиться на парах "было-стало" и оптимизировать процесс.
В-третьих, снимать информацию с кожаной тушки можно не только с помощью "интеллекта пальцев", а используя разные сенсоры, которые не зависят от того, далеко ли до обеда массажисту.
Тут, конечно, напрашиваются аналогии с резиновыми женщинами и вибраторами, но может не стоит путать секс и массаж?
Остеопаты такие: так, минуточку, а что там за трехмерная карта?
https://mashable.com/article/aescape-ai-robot-massage
gonzo-обзоры ML статей 2024-03-18 23:40:43
Быстрее, выше, сильнее
https://blogs.nvidia.com/blog/2024-gtc-keynote/
эйай ньюз 2024-03-18 22:50:44
А вот так выглядит сам суперчип GB200.
Подробности: https://blogs.nvidia.com/blog/2024-gtc-keynote/
@ai_newz
эйай ньюз 2024-03-18 22:27:16
Как всегда бывает на презентациях NVIDIA, слово "быстро" - это вчерашний день.
Но не радуйтесь раньше времени - цены будут ядреными! Если H100 стоит около $40k, то GB200 будет минимум в 4-5 раз дороже.
Да и не достать их будет простым смертным. Первыми их получат Amazon, Google, Microsoft и Oracle. Известно, что Амазон уже планирует кластер на 20,000 GB200.
А потребительские версии Blackwell ожидаются не раньше 2025 г.
Ещё посты для интересующихся:
1. Про H100
2. Про H100 NVL192GB
3. Про GH200
@ai_newz
Сиолошная 2024-03-18 18:44:35
— Текущий подход OpenAI к разворачиванию моделей — итеративный. Они стараются не вываливать сразу большое грандиозное обновление, а двигаются шагами. Условно не показывали сразу GPT-4, а сделали GPT-1-2-3, 3.5 (и каждый мог и пощупать), и тем не менее всё равно мир воспринимает это как технологические скачкИ. Возможно, нужно релизиться чаще (ждём GPT-4.71). И вот Sam пообещал, что в этом году будет релизнута одна крутая модель. Моя ставка что это Jukebox v2, модель для работы с аудио (текст-картинки-видео уже покрыты, а v1 вышла аж в 2020м). Сможет ли она генерить целые подкасты? Узнаем!
— Так что и до релиза GPT-5 (или чего-то аналогичного, как бы оно ни называлось) будет ещё несколько релизов, которыми важно поделиться.
— $7T да? да? ну да же? Да или нет, не ясно, но Sama верит, что вычислительные мощности могут стать новой валютой в будущем, причём одной из самых важных. Буквально на каждый чих нам нужны мощности. Это верно и сейчас (компьютеры и смартфоны), но кардинально вырастет в будущем. Если сейчас сделать 30 миллиардов чипов для телефонов — их некуда будет ставить, никто не будет покупать их в 10 раз больше. Но вот если можно будет арендовать мощности для замены части работников и выполнения интеллектуальных задач — то это совсем не то же самое. Ставка Sam на то, что нам потребуется невообразимо гигантское количество мощностей, и что на это будет спрос. Настолько большое, что сейчас про это попросту сложно рассуждать.
— Но откуда же взять энергию? Кто куда, а Sama верит в термояд (конечно, не зря же он закинул пару сотен миллионов инвестиций в Helion)
— На подкасте уделили минут 10 общению про Google и замену поисковиков (Sama назвал такую задачу неамбициозной, несоразмерной тому, что мы ждём от AGI). Но по итогу всё перешло к обсуждению бизнес-моделей и рекламы, и Altman говорит, что ему не нравится реклама. Подписочная модель, когда ты платишь и точно знаешь, что не ты являешься продуктом — крутая, и он верит, что OpenAI можно развивать дальше без рекламы, и даже так можно будет окупать все вычислительные мощности.
— в этом же контексте обсудили факапы Google с запуском модели генерации изображений, встроенной в Gemini, и Sam закинул классную идею. Перед публикацией модели можно выписать список желаемого поведения, обсудить его с общественностью, скорректировать политику за несколько итераций и затем оценивать модель по соответствию такому списку. Тогда должно быть ясно, это баг, это фича, или это проблема политики поведения. OpenAI в этом направлении уже делает шаги, см. тут.
— Как вы знаете, OpenAI перестали заниматься робототехникой. Недавно они вложились в Figure.ai, и вот Sama говорит, что они рано или поздно вернутся, потому как хочется, чтобы условный AGI мог не только людям команды раздавать что делать, но и сам пошёл выполнять какую-то работу. Страшно очень страшно мы не знаем что это такое
— Sama слегка проапдейтил своё определение AGI и теперь говорит про более глобальные штуки. Теперь технологии, чтобы считаться AGI по Altman'у, надо, чтобы она делала «major transition». Как минимум — существенное влияние на мировую экономику. GPT-4 не изменила ничего, просто удобный инструмент, да, увеличивает производительность, но не радикально. Я пишу «слегка» потому, что и старое определение про выполнение половины экономически важных задач тоже подразумевает влияние на экономику, так что разница минимальна. Тут главное не задирать планку.
— отвечая на вопрос про свою власть и доверие ему как CEO компании, делающей AGI, Sam сделал сноску по поводу ситуации со своим увольнением в ноябре. Несмотря на то, что борд имел закрепленные законом и уставом права уволить его (что и было сделано), на практике это не до конца сработало. И это — провал их подхода к управлению. И такое надо исправить с будущими изменениями в структуре. Даже после всего произошедшего Sam не хочет получать какие-то суперголоса и бразды управления AGI, и это вообще не должно доставаться ни одному человеку (только группе людей). Но рекомендую посмотреть весь ответ вот с этого таймкода.
gonzo-обзоры ML статей 2024-03-18 18:26:59
Свежего Альтмана подвезли
https://youtu.be/jvqFAi7vkBc?si=0JDIVpINKWAwaDwC
Сиолошная 2024-03-18 17:24:01
— Сага с бордом — самый болезненный профессиональный опыт у Sam, и также угроза AI Safety. Но в некотором смысле хорошо, что это произошло сейчас, а не позже. Sama ожидал, что нечто подобное будет случаться по ходу создания AGI, и скорее всего power spike с бордом — не последний. Meaning: ждём второй сезон Игры Престолов
— Но новых деталей про сами события нет — кроме как «в стрессовых ситуациях и со сжатыми срокам люди могут вести себя субоптимально» (принимая не всегда верные в ретроспективе решения). А ещё некоторые из прошлых директоров были не самыми опытными (писал про это тут, Sama озвучил буквально то же). А текущий совет директоров — не финальный, он будет ещё расширяться.
— [при обсуждении условий возврата и переговоры] «Я не чувствовал, что могу продолжать работать с советом директоров в старой конфигурации, но я благодарен, что Adam D'Angelo остался».
— Sama уважает Ilya Sutskever, и надеется, что они поработают вместе до конца карьеры Altman'а. Сделаю осторожное предположение, что Ilya дали возможность остаться в OpenAI, но с очень ограниченной свободой, возможно, отчётами и разными согласованиями, etc., и перед ним стоит выбор, возвращаться ли. Догадка ни на чём не основана, просто мысли.
— Также гость подкаста отметил, что он на пару с Sutskever последние годы проводил очень много бесед по поводу влияния AGI на мир, и что Ilya очень сильно переживает за судьбу человечества (в широком смысле, от безработицы до экономического импакта), чтобы все действия OpenAI были правильными. Напомню, что он ещё в 2016м году писал, что по мере приближения к AGI будет нелогичным выкладывать в открытый доступ все наработки
— Sama сказал, что если б у него был Оракул, то Altman в прошлом точно бы не назвал компанию OpenAI
— Отвечая на вопрос про Sora и замену ютуберов, Sama предложил клёвый фреймворк для оценки влияния AI на экономку в целом. Фреймворк предлагает смотреть, какой процент задач (не профессий), укладывающихся в 5 секунд, 5 минут, 5 часов... модель может взять на себя. В такой парадигме она остаётся инструментом, позволяющим людям извлекать пользу и увеличивать свою эффективность, находя ресурсы на нечто новое. Для GPT, конечно, тоже применимо. А чем длиннее задачи — тем больше эффект (потому что по сути мы начинаем значимую часть аутсорсить AI). Поэтому вероятно количество видео на YouTube, где будет использоваться какой-то AI продукт, будет большим, но в основе контента всё еще будет человек, который просто ускоряет части работы (например, съемку доп. футажей)
— Ещё одно интересное сравнение, длина контекста и количество оперативки на компьютере. Многие помнят мемное видео с Bill Gates, где он говорит, что 640 Kb хватит всем, а сейчас в телефоны уже по 12 ГБ ставят. Вместе с этим приходят новые способы использования, о которых раньше и мечтать было нельзя. То же с контекстом — можно лишь гадать, как мы будем использовать, скажем, миллиард токенов. Скормим всю информацию про свою жизнь, чтобы ассистент понимал, с кем имеет дело? Кто знает!
— Sama считает, что самый лучший мета-юзкейс GPT-4 — это помощь в начинании чего-то нового/брейншторминг, когда вместо чтения десятка статей и поисков в гугле можно обратиться к модели и получить краткую выжимку, собранную конкретно под свой запрос. Правда модели всё еще иногда галлюцинируют (и пользователи, зная это, делают проверку фактов, если это критично), но в будущих моделях проблема станет гораздо менее актуальной.
— Про нашумевший проект Q* OpenAI пока не готовы говорить, но он а) есть (было ясно из утечек писем внутри компании) б) связан с reasoning, то есть с рассуждением/мышлением моделей.
Метаверсище и ИИще 2024-03-18 17:11:38
Адобченко не унимается и тизерит все новые продукты.
Мы ждем обновы Firefly, но пока видим лишь интеграцию этой модели в разные продукты Адобченко, что в общем-то правильно.
Две новых фишки для Substance 3D Sampler 4.4 и Stager 3.0 соответственно.
Первая, это генерация текстур из текста. Это уже делает Юнити, плюс я писал про похожие проекты. Но все это идеально интегрировано в Substance.
Вторая, это генерация фонов для Stager. Задников в общем. Чем это отличается от просто генерации картинок по промпту?
Сгенерированные задники матчатся по свету с остальной трехмерной сценой, информация забирается оттуда.
В общем Адобченко молодцы, но давайте уже свой видеогенератор!
https://news.adobe.com/news/news-details/2024/Adobe-Brings-Firefly-Generative-AI-Into-Substance-3D-Workflows/default.aspx
Сиолошная 2024-03-18 15:20:43
https://www.youtube.com/watch?v=jvqFAi7vkBc
Блин я только хотел спать идти. Ожидаю 2 часа дичайшего кайфа.
Как раз хватит, чтобы протянуть до выставки NVIDIA GTC 2024 (через 4.5 часа).
эйай ньюз 2024-03-18 12:44:31
Тут еще и сделка между Google и Apple назревает.
Яблоко хочет получить лицензию на использование моделей Gemini в новых фичах, которые появятся на iPhone в этом году. Gemini планируют использовать для более тяжелых задач, и гонять модели в клауде, а не на девайсе. Свои же модели Apple пилят под телефон.
В целом, Apple либо позади в гонке LLM, либо они очень секретно двигаются.
@ai_newz
эйай ньюз 2024-03-18 12:27:31
Похоже, Apple все же подарит Siri мозг!
Помните недавно прошелся слух, что готовится Apple GPT?
Так вот, Apple только что купила стартап Darwin AI, который работает над уменьшением и ускорением AI моделей. Тим Кук уже успел пообещать "открыть новые горизонты" в этом году, и похоже, все-таки у нас будет возможность пользоваться нейросетью от эпл локально на новеньком айфоне.
Apple всегда заботилась о безопасности и приватности, так что возможность общаться с ботом и редактировать фотки локально была бы пушкой, да и за облачные вычисления платить не придется, как это решил сделать Samsung.
Времени до конца года осталось не так много, интересно, успеют ли.
@ai_newz
AI Product | Igor Akimov 2024-03-18 11:34:13
На Кипре сегодня выходной, но есть несколько новостей, которыми хотел поделиться все равно
1. Илон Маск и его x.ai, как и обещал, выложил веса их ИИ Grok https://github.com/xai-org/grok-1
- 314B параметров! Весит почти 300 гигабайт
- Это Mixture of Experts модель, то есть 8 подсетей, из которых под конкретную задачу подбирается 2, позволяет на более слабом (ха-ха) железе запускать.
- Лицензия позволяет коммерческое использование
- Модель базовая, то есть просто дополняет текст следующим словом, на диалоговый режим и следование инструкциям она не заточена, но базовые модели как раз самые тяжелые, добивание под задачи может стоить десятки и сотни тысяч долларов, а вот тренировка базовой модели - миллионы.
- По бенчмаркам между 3.5 и 4 GPT (73% on MMLU, 62.9% GMSK, 63.2% HumanEval)
- 8K контекст, но есть возможность расширения
Короче, это круто, а то все Llama, да Llama, никакой конкуренции, я думаю нас ждет много классных опенсорсных решений на ее основе.
эйай ньюз 2024-03-18 10:23:17
Никогда такого не было и вот опять - британские учёные Washington Post выяснили, что BigTech платит в разы лучше академии
Ли Фэй-Фэй, типа крестной мамки ИИ (эта тетя еще и была научным руководителем Андрея Карпатого), закинула тему о бабле на нацпроект по AI перед Байденом. Суть в том, чтобы университеты cмогли догнать корпоративных монстров типа Meta, Google и Microsoft, которые уже натренировали кучу моделей, пока академия пыталась выжить на остатках грантов.
Ребята, конечно, совершили высадку на луну с 4kb RAM, но пока Meta закупает 350к H100, бедняги из Стэнфорда пытаются что-то выжать из своих 68... штучек. Я уже даже не говорю про разницу в з/п между индустрией и академией - можете глянуть levels.fyi сами.
Чтобы хоть как-то замутить свой исследовательский хайп, ученым приходится ломиться в биг-теки, которые в ответ задают направление ресерча. Как результат, большая часть крутых исследований теперь идет под флагом индустрии, а университеты вынуждены довольствоваться крохами. Чтобы это проверить, достаточно вспомнить хоть бы одну Foundation модель для Language или Computer Vision, которую натренировали в университете - мне сходу на ум ничего не приходит.
А вообще, Open source, конечно, задает жару всяким гуглам, только вот мощностей все равно катастрофически не хватает.
Ли уже каталась по Вашингтону, пытаясь пробить финансирование на "GPU для народа", чтобы хоть как-то уровнять шансы. В то же время, корпорации, типа Microsoft, уже подкинули кое-какие ресурсы ($20M) в общий котел, но это, по большому счету, капля в море.
Ситуация настолько критична, что почти 70% PhD по AI уходят в индустрию, искушенные зарплатами и возможностью работать над чем-то крутым. А 10 лет назад эта цифра была 21%. И вот они стоят перед выбором: сидеть в академии и пилить науку за гроши или перейти на темную сторону и ресерчить за бабло. Те, кто решает остается, приходится либо договариваться с индустрией, либо наблюдать, как их темы уплывают к тем, кто может позволить себе больше железа и данных.
По себе знаю, в универститетах круто в плане свободы выбора тем исследований, но там совсем нет ресурсов на тренировку современных больших моделей...
@ai_newz
эйай ньюз 2024-03-18 07:21:04
🔥 Grok: 314B параметров. 8 экспертов. Нормально!
Код должен быть тут https://github.com/xai-org/grok
@ai_newz