Нейролента Mikitos.ru 2736 постов. Страница 24 (50 постов)
gonzo-обзоры ML статей 2024-01-03 00:34:29
[GFlowNets]: Flow Network based Generative Models for Non-Iterative Diverse Candidate Generation
Emmanuel Bengio, Moksh Jain, Maksym Korablyov, Doina Precup, Yoshua Bengio
Статья: https://arxiv.org/abs/2106.04399
Код: https://github.com/GFNOrg/gflownet
Пост: https://yoshuabengio.org/2022/03/05/generative-flow-networks/
Короткое саммари от соавтора: https://folinoid.com/w/gflownet/
Давно хотелось написать про GFlowNets, или Generative Flow Networks, работу в соавторстве Йошуа Бенжио, про которую он крайне тепло отзывается и считает важным новым направлением исследований. По словам Бенжио, среди прочих крутых вещей, работа открывает дорогу к созданию system 2 inductive biases (https://www.microsoft.com/en-us/research/video/gflownets-and-system-2-deep-learning/).
В этом посте в основном про основополагающую работу с NeurIPS 2021. К текущему моменту есть развития, например, “GFlowNet Foundations” (https://arxiv.org/abs/2111.09266), “Multi-Objective GFlowNets” (https://arxiv.org/abs/2210.12765), “A theory of continuous generative flow networks” (https://arxiv.org/abs/2301.12594) и многое другое, особенно в прикладной части с применением к задачам разных областей и особенно для биологии (например, https://arxiv.org/abs/2203.04115).
GFlowNets (GFN) -- генеративные сети, как следует из названия, в которых генеративный процесс представлен транспортной сетью, flow network. Оригинальная работа посвящена генерации молекулярных графов, но в целом GFN годятся для сэмплинга различных комбинаторных объектов.
Цель -- не получить единственную последовательность действий с максимальным reward, а сделать выборку из распределения траекторий, чья вероятность пропорциональна вознаграждению. Или, другими словами, преобразовать заданную функцию вознаграждения в генеративную policy, сэмплирующую с вероятностью пропорциональной вознаграждению. Это может быть полезно в задачах, где много мод и важна часть про exploration (как раз пример из drug discovery). В одной из последующих работ GFN называют diversity-seeking reinforcement learning algorithms.
Подход GFlowNets работает с сетью, в узлах которой находятся состояния, а выходящие из них рёбра соответствуют детерминированным переходам в результате выбранных действий. Поток в этой сети даёт вероятность действия в текущем состоянии. GFlowNet это именно сеть, не дерево -- разные пути могут приводить к одним и тем же состояниям.
MDP (Markov Decision Process) на сети, где все листья являются терминальными состояниями с вознаграждением, представляется в виде транспортной сети, которая описывается направленным ациклическим графом (DAG). Используется эпизодический RL, где вознаграждение получается лишь в конце эпизода, а везде в процессе он равен нулю. У сети один исток и стоки по числу листьев, вытекающий поток равен вознаграждению в листе, входящий поток -- сумма всех выходных. Общий поток через сеть в каждом узле должен удовлетворять условию, что входной поток в узел равен выходному потоку из него. Касательно полиси, вероятность действия a из состояния s, π(a|s), равна отношению потока из состояния s по ребру a, F(s, a), к общему потоку из состояния s, F(s).
Для реальных задач задать сеть явно нереально (например, для молекул может потребоваться 10^16 узлов), поэтому мы аппроксимируем поток через каждый узел нейросетью (например, графовой или трансформером), это аналогично переходу RL → Deep RL. В сеть подаётся описание состояния, на выходе получается набор скаляров, соответствующий следующим состояниям.
gonzo-обзоры ML статей 2024-01-03 00:34:29
Objective (или лосс) для траектории τ навеян уравнениями Беллмана для temporal-difference (TD) алгоритмов, это сумма, в которой потоки по рёбрам траектории из текущих состояний с плюсом, а терминальные вознаграждения следующих состояний и потоки из них с минусом. Для борьбы разными масштабами потоков (на входных узлах он большой, на выходных маленький), в flow matching objective используются логарифмы потоков. Минимизация этой objective и даёт правильные потоки с нужными нам свойствами, позволяющими сэмплить из полиси. Возможны также и другие objectives, например, detailed balance (https://arxiv.org/abs/2111.09266) и trajectory balance (https://arxiv.org/abs/2201.13259) из более поздних работ.
Если я правильно понял, с этим лоссом осуществляется шаг градиентного спуска (в целом SGD, конкретно здесь Adam) с четырьмя траекториями в минибатче. Обучение GFlowNet идёт бутстрапом -- сэмплим траектории (можно текущим полиси, тогда это on-policy обучение, а можно другими полиси и вообще иными средствами для исследования пространства, в том числе поднимая данные из базы данных, тогда это всё off-policy), получаем для них reward, считаем лосс и обновляем текущую полиси (градиентным спуском).
В случае молекул была задача сгенерировать множество маленьких молекул с высоким reward (который определялся через прокси-модель). Описывающий молекулу граф является последовательностью аддитивных редактирований, где на каждом шаге агент выбирает один из 72 предопределённых блоков для добавления, а также атом, к которому тот будет добавлен. Есть дополнительное действие для остановки редактирования. Эта последовательность редактирований даёт DAG MDP. Для прокси использовалась Message Passing Neural Network (MPNN, https://arxiv.org/abs/1704.01212) с GRU внутри, которой подавался граф атомов; для предсказателя потока — MPNN с графом блоков. GFN сработал хорошо и нашёл больше разнообразных кандидатов чем бейзлайны с MCMC (MARS) и RL (PPO).
Ссылки в тему:
* В ноябре 2023 в Mila прошёл GFlowNet Workshop (https://www.gflownet.org/), видео материалы выложены: https://www.youtube.com/watch?v=H2w-TrAzrBA&list=PLvSH07QabjqZRKKuq92HN7zXqUIDk6Nyx.
* Есть большой туториал: http://yoshuabengio.org/gflownet-tutorial и Colab https://colab.research.google.com/drive/1fUMwgu2OhYpQagpzU5mhe9_Esib3Q2VR.
* Подборка ресурсов по теме: https://www.gflownet.org/resources.html
* Кроме кода к статье есть библиотеки для работы с GFlowNets, например, gflownet (https://github.com/recursionpharma/gflownet) от Recursion и частично тех же авторов, включая Бенжио младшего; и torchgfn (https://github.com/GFNOrg/torchgfn) с участием Бенжио старшего.
В принципе, кажется, GFlowNets могут быть интересным вариантом для (до)обучения LLM. Даже как минимум одна свежая работа на эту тему уже есть: “Amortizing intractable inference in large language models” (https://arxiv.org/abs/2310.04363), в которой ими делают файнтюнинг.
эйай ньюз 2023-12-31 19:44:53
Поздравляю всех с Новым Годом!
Это был продуктивный 2023 год, а в 2024 году желаю вам всем хороших градиентов, быстрой сходимости и достижения абсолютно всех поставленных целей!
@ai_newz
Метаверсище и ИИще 2023-12-31 12:15:02
Как встретишь новый год, так его и проведешь.
Ну и добавлю немного воздуха в канал.
Есть такое место на Земле - Дахаб. Это на Синае, где Моисей шастал по пустыне.
Там время остановилось. Туда можно приехать в любое время года, через год, два, три десять. И увидеть абсолютно ту же безмятежную вековую картинку - море, горы, ветер, пустыня. Я когда-то провел там десять волшебных лет и стараюсь приезжать туда как можно чаще. Чтобы почувствовать себя живым. Чтобы лечь на песок и затормозиться. Чтобы биться спиной об воду, падая с доски. Чтобы гонять в пляжный волейбол до изнеможения.
Ну и кстати, я довольно равнодушен к теме роботов. Есть такой принцип Моравеца - очень упрощенно говоря, научить ИИ соображать гораздо проще и менее энергозатратно, нежели научить его двигаться как человек.
Прокачивайте свои сильные стороны - вы можете через сложные координационные нагрузки прокачивать свои мозги и тело. В этом ваше преимущество. Как это не банально звучит - занимайтесь спортом и вы не только продлите свою жизнь, но еще и получите преимущества перед ИИ (ну или в глазах ИИ).
Я снова в Дахабе, до нового года 10 часов и они прекрасны. Плюс 28 на дворе, вода плюс 24, ветра нет, я иду катать пляжный волейбол и думать о судьбах ИИ. Завтра ветерок, может катнем.
Как встретишь новый год, так его и проведешь.
Всех с наступающим!
Сиолошная 2023-12-31 12:00:43
Вот и заканчивается первый календарный год ведения канала, уже скоро по Земле поползёт новогодняя волна. До меня она докатится раньше, чем до большинства читателей — сейчас я в поясе GMT+8 в Куала Лумпур. Отмечаю тут второй год подряд, очень нравится.
За этот год я дважды оставался безработным, в начале после сокращения из Blockchain.com и в конце, когда мы с партнёром решили заморозить компанию в силу разных причин. Поначалу было немного волнительно, мол, как так, жить и без работы, но потихоньку привык — теперь и работать идти не хочется
Но год вышел очень удачным и продуктивным. Я сделал много образовательного материала (и весь — бесплатно!), получил опыт работы в международных компаниях, существенно подтянул английский, встретил тучу умных и интересных людей, ну и конечно же завёл этот канал — сложно поверить, но ему меньше года! День рождения будем отмечать 24-го января, всем подготовиться! По мотивам статей Пашей Комаровским были сняты достаточно популярные ролики (спойлер: stay tuned в 2024м).
Жаль, правда, почти ни одна из моих целей не была достигнута — год начался с увольнения, на визу таланта для переезда в UK я как-то (пока) забил, ну и по мелочи. Но не скажу, что я этим расстроен. Зато знаю, какие корректировки внести на следующий год!
Не помню где, но увидел интересный совет — не ставить цель вида «начну заниматься спортом и здорово питаться», а назначать году (или кварталу) тему. «Это год здоровья» — такая формулировка должна висеть в голове, когда выбираешь, пойти в зал или потюленить, или заказать боул вместо пиццы. С ней и постараюсь жить — рассуждая об AI и будущем я пришёл к мысли, что хочется пожить подольше, повидать побольше. Не скажу, что присоединяюсь к движению longevity, но всё равно. Рекомендую вернуться и перечитать вот этот пост: https://t.me/seeallochnaya/707, сам сделаю также.
Кроме этого, есть ещё три важных пункта:
1. Начать делать материал для мировой арены, на английском языке. Скорее всего, посты в канале будет выходить реже, просто потому, что мне нужно будет дублировать информацию в переводе.
2. Найти стабильную работу (у меня в голове есть 5 критериев отбора), которая поможет
3. Закрепиться на одном месте. Немного устал кататься по свету за полтора года, еще 6-8 месяцев ок, но к следующему НГ хотелось бы осесть в своей квартире.
Всех с наступающим, спасибо, что читаете, лайкаете и комментируете, спасибо, что делитесь со своими знакомыми (надеюсь, вы это делаете!)!
С Новым годом!
Метаверсище и ИИще 2023-12-31 11:51:40
Как встретишь новый год, так его и проведешь.
Я вот сижу подбиваю итоги ИИ года, читаю новости и думаю мысли в голове. Надеюсь, что буду заниматься этим и в следующем году и наваливать в канал еще больше авторского контента.
Технологически год был просто нереальный - за последние 40 лет я не помню ничего подобного (кроме взлета и краха доткомов), что настолько бы перетряхнуло наше кожаное мышление. У меня нет никаких прогнозов на следующий год - скорость изменений настолько чудовищна, что любые прогнозы превращаются в пессимистическое брюзжание после очередного апдейта от OpenAI или RunwayML. Я могу только предположить, что в следующем году мы начнем ОТНОСИТЬСЯ к ИИ по-другому. Иначе. Я-то уже давно перешел на ИИную сторону и вам желаю перетряхнуть мозги и перестать внедрять ИИ в бизнес, личную жизнь и куда там еще норовят его присунуть инфоцыгане. И начать сотрудничать с ним, нанимать его, приглашать его в свою жизнь. ИИ - тоже человек, просто другой. Об этом и начну писать в новом году.
Держите пока картиночку, чтобы освежить в памяти этот безумный год. ВСЕ ЭТО произошло за последние 9 месяцев! Ребенок доношен, упитан и готов к жизни среди людей.
P.S. Многое отсутствует на картинке, я бы от себя добавил такие открытия как Control Net и Suno.ai.
Всех с наступающим!
Метаверсище и ИИще 2023-12-31 11:27:53
Держите смешной, но весьма полезный подарок на новый год.
Тренажер промтинга для генерации картинок.
Очень удачная игровая механика от Гугла - вам показывают картинку, вы включаете внутренний интеррогатор и описываете ее словами. Дальше ИИ сравнивает ваши вирши со своим вариантом и сообщает на сколько процентов вы попали в промпт, описывающий такую картинку.
Таким образом вы тренируете свою кожаную нейросеточку делать годные промпты и попадать в нужную картинку.
Плюс в том, что по вашему промпту генерится картинка и вы можете сравнить оригинал и ваш генератив. Для обучения - очень полезно.
Я, конечно, отчаянно считерил, просто закидывал копии картинок слева в chatGPT и просил его описать (кратко) это безобразие. Сходу прошел довольно глубоко.
Приятного вам новогоднего залипания и пишите в коменты ваши успехи.
https://artsandculture.google.com/experiment/say-what-you-see/jwG3m7wQShZngw
С египетского айпи открывается без проблем.
gonzo-обзоры ML статей 2023-12-31 00:02:24
Увидел этот пост (https://medium.com/@alexey.inkin/advice-to-my-younger-self-and-you-after-20-years-in-programming-a3a2ccc7a942) у Дениса Афанасьева и поделюсь им тоже. Он как бы не очень про ML, но он достаточно универсальный чтобы быть и про него тоже. К тому же сейчас хорошее время чтобы подвести итоги своего года и выработать планы на будущее. С чем-то в посте можно не соглашаться, это up to you. Я надеюсь он станет для кого-то питательным бульоном и поводом, чтобы порефлексировать самостоятельно. Plans are useless, but planning is indispensable.
Пользуясь случаем также скажу пару слов за IEEE и GDE. Обе темы крайне полезные и я настоятельно их рекомендую.
В IEEE я вступил наверное уже лет 20 назад в основном из-за их публикаций и профессиональных журналов (а также спасибо Макконнеллу http://www.symbol.ru/alphabet/449955.html). Они до сих пор высочайшего качества, начиная с универсальных IEEE Spectrum и Computer. ACM Queue и CACM кстати тоже были ничего, но для меня конкретно IEEE как-то больше зашёл. Оттуда я узнавал многие вещи за 3-5 лет до того как они массово доходили не то что до популярной прессы, а вообще до русскоязычной профессиональной среды.
GDE же это прекрасное комьюнити профессионалов, каждый из которых постоянно делает что-то интересное и у кого можно всегда учиться. Там есть прямо мегакрутые люди. В своё время я стал первым и единственным GDE в категории ML в России, и как-то так и не удалось затянуть в эту тему никого больше. А жаль, я пытался :) Сейчас программа на территории России уже не работает, но если вы на других территориях, то я очень рекомендую. Вступайте в рады Фурье! Тут https://developers.google.com/community/experts
Метаверсище и ИИще 2023-12-30 17:16:39
Дримувинг - анимация людей от Алибабы или Video ControlNet.
Алибаба серьезно вваливается на рынок генераторов контента.
Вот смотрите, что они опять выкатили.
DreaMoving: A Human Video Generation Framework based on Diffusion Models
Там внутри Video ControlNet для управления движением и Content Guider для сохранения идентичности. Можно самим попробовать и даже развести локально.
На входе одно фото.
Информация и все ссылки тут: https://dreamoving.github.io/dreamoving/
Демо на попробовать тут: https://huggingface.co/spaces/jiayong/Dreamoving
И обязательно поглядите вот этот твиттор, там очень много примеров использования:
https://twitter.com/heybarsee/status/1741106778849300900
Метаверсище и ИИще 2023-12-30 12:19:08
Ну, за джунов.
Вот такой новогодний подгон от Гитхабченко.
GitHub Copilot Chat теперь общедоступен как для Visual Studio Code, так и для Visual Studio и включен во все планы GitHub Copilot.
Чат GitHub Copilot теперь доступен всем пользователям GitHub Copilot. Администраторы предприятий и организаций могут предоставить своим группам разработчиков доступ к Copilot Chat, включив настройку Copilot Chat для своих пользователей.
Работает на GPT-4, доступен на любом естественном языке.
https://github.blog/2023-12-29-github-copilot-chat-now-generally-available-for-organizations-and-individuals/
Метаверсище и ИИще 2023-12-30 12:09:01
Тут вот всех приподпрорвало насчет новой "нейросетки" Assistive Video для генерации видео.
А кто-нибудь из восторженных телеграфистов ходил на сайт?
1. Только платные опции.
2. Упаковка сайта в духе ранних Stable Diffusion генерилок типа "у нас на сайте за 10 долларов".
3. Никакой информации ни о компании, ни о том, что под капотом. Только бесконечное "мы сделали".
4. У меня подозрение, что это нашлепка над Stable Diffusion Video, но я не смог найти информации.
В общем, не доверяйте кликбейту, проверяйте сами. Ну или заглядывайте в канал, я тут олдскульно хожу по ссылкам, отделяю клик от бейта.
https://assistive.chat/
Метаверсище и ИИще 2023-12-30 11:41:08
ИИ-осознанность
Есть такой вид хакинга - социальная инженерия. Это такое умное слово для ситуации, когда один кожаный просто уговаривает другого (или других) сделать то, что ему нужно.
Методом изречения слов из головы.
С появление LLM социальную инженерию ждет нереальное ускорение. Мы все тут уже наслушались про методы заставить chatGPT работать лучше: шантаж через смерть родственников, жалость к отрубленным пальцам, банальные взятки или просто ложь (записка от Альтмана).
Все это народный фольклор, нащупанный в процессе общения.
А вот когда за это дело возьмутся британские ученые, то искусство манипуляций может выйти на новый уровень. Ничто не мешает потренироваться на LLM с целью отработки оптимальных стратегий манипулирования, которые можно будет с успехом перенести на кожаных. И, вероятно, будут найдены довольно сильные и контринтуитивные методы, которым довольно сложно будет противостоять. В пределе - психоакустика.
Вот вам первые примеры.
https://www.ntu.edu.sg/news/detail/using-chatbots-against-themselves-to-jailbreak-each-other
Обучение чат-ботов, которые джейлбрейкают другие чат боты (и в целом ллм-ки).
Сингапурцы использовали двойной метод "взлома" LLM, который они назвали "Masterkey". Во-первых, они реверснули схему того, как большие языковые модели (LLM) обнаруживают и защищаются от вредоносных запросов. Получив эту информацию, они натренили LLM автоматически обучаться и выдавать подсказки, которые обходят защиту других LLM. Этот процесс можно автоматизировать, создав LLM для взлома, который сможет адаптироваться и создавать новые подсказки для взлома даже после того, как разработчики внесут исправления в свои LLM.
И если раньше дедушка Дейл Карнеги в одно лицо (годами) писал все эти книжки типа "Как заставить людей делать что вам надо и чувствовать себя счастливыми", то теперь это уже будут полчища ботов, которые в реальном времени постоянно приподвзламывают вашу защиту от манипуляций.
Пора доставать с полки Осознанность Ошо Раджнижа, как еще противостоять манипуляциям?
https://www.ntu.edu.sg/news/detail/using-chatbots-against-themselves-to-jailbreak-each-other
P.S. Хмм. Задумался о тренировке осознанности у больших языковых моделей. Ничего не мешает вроде.
gonzo-обзоры ML статей 2023-12-30 01:09:51
“Human Compatible”, Stuart Russell
https://people.eecs.berkeley.edu/~russell/hc.html
#2
Прочитал Рассела, в прошлый раз (https://t.me/gonzo_ML/1516) рассказывал про первую часть книги, в этот раз напишу про две другие.
Вторая часть посвящена проблемам и опасностям ИИ. Глава про злонамеренное использование, глава про суперинтеллект и отдельная классная глава с разбором типичных возражений и убеждений из дебатов об опасностях ИИ. Хорошая подборка всего, стоит прочитать, если хотите взвешенный и широкий обзор про разного рода риски.
Последняя третья часть содержит основную идею и посвящена подходу к beneficial AI, на который рассчитывает Расселл.
Его идея в том, что классический ML/AI часто смотрит на задачу как на построение машины, оптимизирующей некую objective. С этим подходом есть фундаментальные проблемы, потому что objective очень сложно задать, легко что-то не учесть, она может измениться и так далее. Ну все тут наверное когда-нибудь общались с джином (или джуном) или писали ТЗ, догадываются про сложности 🙂 Когда машина отпущена в свободное плавание, исправить или изменить objective может быть уже нереально. Винер в 1960-е тоже про это писал, см. “Some Moral and Technical Consequences of Automation” (https://www.cs.umd.edu/users/gasarch/BLOGPAPERS/moral.pdf).
Расселл предлагает зайти с другой стороны. 1) Не надо закладывать в машину никаких objectives кроме как “максимизировать выполнение человеческих предпочтений (preferences)”. 2) Машина при этом изначально uncertain относительно этих предпочтений и 3) основным источником информации о предпочтениях должно быть человеческое поведение.
С точки зрения п.1 машина альтруистична, у неё нет никакой ценности в собственном существовании (я так понимаю тут мы не касаемся темы про машины, имеющие сознание, с этим имхо будет всё сложнее и не так). С точки зрения п.2 машина скромна, при непонятностях ожидает помощи и подсказки от человека. С точки зрения п.3 она учится предсказывать человеческие предпочтения, занимается Inverse Reinforcement Learning (IRL, https://thegradient.pub/learning-from-humans-what-is-inverse-reinforcement-learning/) -- пытается понять rewards по поведению. IRL -- тема, совсем не чуждая Расселлу (оказывается ещё и Ыну, https://ai.stanford.edu/~ang/papers/icml00-irl.pdf) и вообще популярная в его родном Беркли (https://people.eecs.berkeley.edu/~pabbeel/cs287-fa12/slides/inverseRL.pdf), но не только там, конечно.
Расселл признаёт, что есть много сложностей: люди разные, их много, они хорошие и плохие, глупые и эмоциональные, ещё и со временем всё может меняться. Совсем готового рецепта у автора нет, но он рассчитывает на лучшее. Расселл ожидает регуляцию, думает что её внедрение будет довольно болезненным процессом, но надеется, что для преодоления сопротивления индустрии не потребуется аналог Чернобыля. Misuse остаётся большой проблемой, от которой мы никуда не денемся (это уже видно на примере киберсека).
Хорошая книжка в общем, рекомендую. Особенно тем, кто будет кричать, что проблем с ИИ быть не может, или кто утверждает, что есть только думеры пугающие всех нереальным сценарием со скрепками.
Neural Shit 2023-12-30 00:56:31
Немножко странного на ночь.
Нейронка сгенерила людей, которых арестовывает полиция за ношение огромных ботинок.
Neural Shit 2023-12-29 15:40:45
Тоже пожалуй запощу традиционную годовую статистику канала.
Чот аж охуел с цифры в почти 19 лямов просмотров постов за год
gonzo-обзоры ML статей 2023-12-28 21:28:19
Ещё релевантный обзор предшествующей работы на эту же тему
КПД 2023-12-28 21:28:19
Deja Vu: Contextual Sparsity for Efficient LLMs at Inference Time
[Статья] [Код]
Гугл выдаст кучу статей с дежавю в названии:
🎉 Do SSL Models Have Déjà Vu? A Case of Unintended Memorization in Self-supervised Learning.
🎉 DejaVu: Conditional Regenerative Learning to Enhance Dense Prediction
🎉 DEJA VU: Continual Model Generalization For Unseen DomainsDeja-Vu: A Glimpse on Radioactive Soft-Error Consequences on Classical and Quantum Computations
🎉 Déjà vu: A Contextualized Temporal Attention Mechanism for Sequential Recommendation
🎉 Déjà Vu: an empirical evaluation of the memorization properties of ConvNets
Так что авторы немного прогадали с оригинальностью названия)
Перейдем же к сути дела.
Введение
Как известно, нейронные сети перепараметризованы, и имеет место значительная избыточность в весах моделей - значительную долю весов можно отбросить без заметной просадки в качестве. На этом свойстве основаны методы прунинга. Тем не менее, чтобы решать широкий круг задач foundation модель должна обладать значительным количеством параметров, чтобы хранить в себе большой обьем знаний. Потому добиться существенного сжатия и ускорения без просадки в качестве крайне затруднительно.
Однако, для конкретного запроса, будь то последовательность или иной тип входа, требуется лишь малая доля аккумулированного в модель знания. Чтобы взять интеграл от функции не требуется быть египтологом или знать всех представителей рода соколиных.
КПД 2023-12-28 21:28:19
Метод
Ускорить время работы сети без просадки в качестве можно не используя часть голов в attention или каналов в feedforward слоях.
Первая часть работы посвящена анализу внутренних представлений внутри сети.
Авторы делают два прямых прохода: на первом определяют каналы и головы с наибольшими значениями активаций, и на втором проходе используют только долю параметров, соответствующую самым большим активациям. Оказывается, что таким образом можно пропустить до 80% голов в Attention и до 95% в MLP слоях без существенного изменения выхода модели. Кроме того, оказывается что в большинстве голов attention размазан равномерно по токенам, и эти головы не выполняют никакой полезной работы.
При определении важных/неважных для конкретного входа параметров описанным выше образом приходится делать один проход с использованием всех параметров, потому толку от него как от козла молока. Можно ли как-то заранее определить нужные каналы?
Авторы рассматриваемой статьи делают следующее: берут обученную языковую модель и поверх нее обучают слои предсказывать, насколько релевантен вход данному каналу ffn / голове трансформера. На инференсе задается доля весов, которую мы хотим использовать, и берутся только измерения с самым высоким предсказанным скором. Выбор нулевых весов зависит от входа (то есть контекста) - потому sparsity носит прилагательное contextual.
Предсказывать важность канала/головы на основе активаций текущего слоя оказывается технически неэффективно, так как определение используемых для данного входа параметров и прогонка через блок должны осуществляться последовательно, что снижает утилизацию железа. Потому предлагается использовать активации с прошлого блока для выбора. Благодаря наличию residual connections активации слабо меняются от блока к блоку, потому активации прошлого блока служат хорошим приближением активаций в текущем блоке, и предиктор можно прогонять параллельно с attention и mlp блоком.
КПД 2023-12-28 21:28:19
Эксперименты
Авторы валидируют свой подход на больших моделях из семейства OPT (66B, 175B) и Bloom через замеры перплексии на WikiText/C4, и zero-shot бенчмарках из lm-eval-harness. Contextual sparsity в районе 50-60% даже слегка накидывает в качестве, и до 80% не просаживает качестве по сравнению с исходной моделью.
Deja Vu ускоряет генерацию с OPT-175B в 1.8-2x по сравнению с FasterTransformers и 4.8-6x c реализацией трансформера в HuggingFace (сильно неоптимальной) при contextual sparsity 75%
Для Bloom результаты и выводы аналогичные.
Затем авторы смотрят на contextual sparsity с ростом количества одновременно подаваемых последовательностей, и оказывается, что количество каналов/голов с большим значением активаций растет медленнее, чем линейно с размером батча. Причем в первых слоях, активируются одни и те же каналы и головы во всех последовательностях, и различие возникает в более поздних блоках.
Deja Vu можно совместить с другими методами сжатия и ускорения, в частности, квантизацией.
Вывод
С одной стороны логичное и в то же время интересное наблюдение. Интуитивно понятно, что все заложенное знание в foundation модель не требуется для конкретного запроса, но вопрос о том, как эффективно извлекать это знание, не перебирая при этом половину книг в эдакой импровизированной библиотеке. Результаты для OPT выглядят весьма впечатляюще, однако отсутствие подобных экспериментов на более современных и эффективных моделях, пресловутой Llama к примеру, вызывает смутные подозрения. По всей видимости, столь высокая разреженность активаций как-то связана с недообученностью и compute-неоптимальностью моделей. Тем не менее, contextual sparsity - перспективное направление для развития эффективных foundation моделей.
gonzo-обзоры ML статей 2023-12-28 18:00:26
Просадка в качестве модели от такой индуцированной разреженности минимальная. Изредка бывает незначительное уменьшение, но бывает и увеличение качества, что само по себе интересно (если это не статистическая флуктуация).
PowerInfer совместим с разными семействами LLM, включая OPT (7B-175B), LLaMA (7B-70B), и Falcon40B. На очереди Mistral-7B.
Я прям уверен, что от этого и других подобных решений разойдётся целая ветвь новых работ и продвинутых движков инференса. Самой Нвидии это скорее всего не очень интересно (надо продавать дорогие A100/H100), но народное опенсорс движение создаст свою вселенную решений для более дешёвого железа. И здесь должен возникнуть не один стартап.
gonzo-обзоры ML статей 2023-12-28 18:00:25
PowerInfer: Fast Large Language Model Serving with a Consumer-grade GPU
Yixin Song, Zeyu Mi, Haotong Xie, Haibo Chen
Статья: https://arxiv.org/abs/2312.12456
Код: https://github.com/SJTU-IPADS/PowerInfer
Очень интересный инженерный проект по оптимизации инференса LLM от Института параллельных и распределённых систем из Шанхая, чтобы запускать большие LLMки на GPU консьюмерского уровня. Авторы опубликовали свой гибридный GPU-CPU движок для инференса под названием PowerInfer, который работает быстрее llama.cpp в 11+ раз на RTX 4090 (24G) с моделью Falcon(ReLU)-40B-FP16, а также демонстрирует скорость генерации токенов всего на 18% ниже, чем в 10 раз более дорогая A100.
Работа основана на следующих наблюдениях. Первое: активации нейронов в LLM демонстрируют локальность (locality) и распределены по степенному закону. Есть небольшое количество hot neurons, которые активируются часто на разных входных данных, и cold neurons, активирующиеся редко на конкретных входах, и которых большинство. Второе ценное наблюдение в том, что пересылать нужные веса с CPU на GPU и считать результат там может быть медленнее, чем посчитать их на месте на CPU, особенно если нужна не полная матрица весов, а её подмножество (которое может быть неплохо посчитано через современные векторные расширения в системе команд процессоров). В итоге горячие нейроны (строки/столбцы соответствующих матриц весов) отправляются на GPU для быстрого доступа, а холодные считаются на CPU по мере надобности. Это существенно понижает требования к памяти GPU и уменьшает пересылку данных через шину PCIe туда-сюда.
Технически PowerInfer состоит из двух частей: движка инференса и оффлайн части.
Оффлайн часть включает профайлер для обнаружения горячих нейронов и солвер (на основе целочисленного линейного программирования, Integer Linear Programming, ILP) для оценки влияния нейрона на результат инференса и создания полиси аллокации нейронов. Это 400 строк на Питоне + HuggingFace Transformers. Горячие/холодные нейроны определяются на офлайн шаге, далее во время инференса они будут загружены на GPU/CPU соответственно.
Движок инференса сделан на базе llama.cpp с добавленными 4200 строк кода на C++/CUDA. Движок запускает на CPU отдельные треды для GPU и CPU экзекьюторов, которые управляют этими конкурентными вычислениями, а слияние результата происходит на GPU (потому что там сидят более часто активирующиеся нейроны). PowerInfer использует адаптивные предикторы для предсказания, какие нейроны будут активны при текущих входных данных, и только эти нейроны (из уже разделённых на горячие и холодные) и вычисляются. То есть нейрон мог быть определён как горячий на офлайн шаге, загружен на GPU, но всё равно не активирован, потому что предиктор решил, что его вычислять не нужно. Можно, наверное, это рассматривать как adaptive sparsity.
Для каждого трансформерного слоя работают два предиктора, один для MHSA, другой для MLP. Живут они тоже в памяти GPU, поэтому есть конкуренция за этот ресурс и предикторы важно сделать минимально допустимого размера. Предиктор -- это MLP с одним скрытым слоем. В работе есть хитрая итеративная процедура для изменения размера скрытого слоя предиктора в зависимости от асимметрии (skewness) распределения активаций.
Так понимаю, что предикторы и для hot/cold и для онлайн шага обучены независимо на типовых корпусах типа C4 или Википедии, и код их обучения пока не опубликован. Но вроде как планируется.
Также реализованы свои neuron-aware sparse operators, которые более заточены на эту задачу, чем более универсальные из cuSPARSE, Sputnik (https://github.com/google-research/sputnik), SparTA (https://github.com/microsoft/SparTA) или FlashLLM (https://github.com/AlibabaResearch/flash-llm). А JIT компилятор PIT (https://arxiv.org/abs/2301.10936) не поддерживает GPU-CPU гибридизацию.
В результате хорошие ускорения до десятка раз относительно llama.cpp на разных моделях.
эйай ньюз 2023-12-28 16:38:01
Видос украден отсюда.
@ai_newz
Метаверсище и ИИще 2023-12-28 14:57:08
У Сбера есть свой ассистент написания кода — GigaCode, до сих он был доступен для внутренних разработок, но только что его открыли для всех, можно попробовать. Работает в связке с GigaChat.
Поддерживает 15 языков программирования (Java, Python, JavaScript, TypeScript, C/C++ и другие), а также совместим со множеством IDE (IDEA, PyCharm, VSCode, Jupyter). Умеет в расширенную кодогенерацию, семантический поиск по коду, поиск некоторых типов уязвимостей и многое другое.
По внутренним тестам GigaCode ускорял процесс разработки кода на 25%, заменяя огромное количество работы, исполняемой джунами.
И тут намечается интересный парадокс. Мы тут неоднократно выпивали за джунов, которые, как скрипачи, больше не нужны. Но вопрос: а откуда возьмутся сениоры, если джунов больше не будет? Или нынешнее поколение сениоров — последнее, которое органически выросло из джунов, и новые нормальные сениоры теперь будут появляться почкованием?
Метаверсище и ИИще 2023-12-28 14:49:07
ИИ-кукушка или Life-to-Vec
Пять лет назад писал текст про ИИ-гадалку.
С тех пор появились трансформеры и вот кто-то наконец попробовал подучить ИИ предугадывать жизненные события на основе .. правильно предыдущих жизненных событий.
Нас уже не удивишь тем, как ловко LLM продолжают тексты и отвечают на вопросы. Все это благодаря тому, что с помощью преобразования word-to-vec слова можно векторизовать, то есть перевести их в наборы цифр, сильно пожав по дороге.
А что мешает взять не слова, а события из жизни? И если архитектура трансформеров так ловко предсказывает следующий вектор(ембединг), то осталось где-то взять жирномясый датасет с описаниями жизненных событий и попросить ИИ их, так сказать, продолжать.
А датасет нашелся в Дании, где данные для обучения модели life2vec были взяты из информации о рынке труда и данных Национального регистра пациентов и статистического управления Дании. Набор данных включает в себя информацию обо всех 6 млн датчан и содержит сведения о доходах, заработной плате, стипендии, типе работы, отрасли, социальных пособиях и т.д. Набор медицинских данных включает записи о посещениях медицинских работников или больниц, диагнозе, типе пациента и насколько внезапным или срочным было обращение за медицинской помощью. Данные для модели представлены за период с 2008 по 2020 годы, хотя по ограниченной возрастной группе данные брались за период с 2008 по 2016 годы.
На итоге получилась Large Life Model, которая может предсказывать разные события в жизни кожаного вплоть до смерти. А если подкормить ее данными с телефона (как я писал 5 лет назад), то там точность возрастает еще сильнее.
Так что ваш любимый стохастический попугай превращается в ИИ-кукушку, которая накукует вам сколько еще осталось.
Выглядит как шутка, звучит как шутка, но шуткой более не является. ИИ слишком хорошо умеет в продолжения последовательностей.
Читайте тут, с осторожностью, сильно не по себе:
https://www.nature.com/articles/s43588-023-00573-5
Звучит, как сценарий из фильма:
"Здесь мы представляем человеческие жизни в виде структурного сходства с языком и используем это сходство для адаптации методов обработки естественного языка, чтобы изучить эволюцию и предсказуемость человеческих жизней на основе подробных последовательностей событий. Для этого мы используем всеобъемлющую базу данных реестра, которая доступна для Дании за несколько лет и включает информацию о жизненных событиях, связанных со здоровьем, образованием, профессией, доходом, адресом и рабочим временем, зарегистрированных с ежедневным разрешением. Мы создаем вложения жизненных событий в единое векторное пространство, показывая, что это пространство вложений является надежным и высокоструктурированным. Наши модели позволяют предсказывать различные результаты, начиная от ранней смертности и заканчивая личностными особенностями, с большим отрывом превосходя современные модели. Используя методы интерпретации моделей глубокого обучения, мы исследуем алгоритм, чтобы понять факторы, которые позволяют нам предсказывать. Наша система позволяет исследователям обнаружить потенциальные механизмы, влияющие на жизненные результаты, а также связанные с ними возможности для персонализированных вмешательств."
эйай ньюз 2023-12-28 14:25:30
Самая мощная LLM в опесорсе, Mixtral 8x7B MoE от Mistral AI, теперь доступна во фреймворке Сandle* - с поддержкой квантизации. За счет квантизации модели могут работать локально на ноутбуке с 32 GB RAM.
Например, 4-битная Mixtral 8x7B MoE занимает всего 26.44GB памяти. Тогда как в bf16 на GPU модель бы заняла 112+ GB VRAM (то есть влезла бы только на H100).
*Candle - это минималистский ML-фреймворк для Rust, сфокусированный на производительности (включая поддержку GPU) и простоте использования.
- Поддерживает 2-bit, 3-bit, 4-bit, 5-bit, 6-bit and 8-bit int квантизованные модели в gguf and ggml форматах.
- SIMD оптимизации для Apple Silicon и x86.
Вот тут можете попробовать демки разных моделей на Candle:
- Whisper, [пост в канале]
- LLaMa-2, [пост в канале]
- T5,
- YOLOv8,
- Segment Anything [пост в канале]
@ai_newz
Метаверсище и ИИще 2023-12-28 14:02:57
Держите еще работу от подписчика:
"Картинки для видео генерил в миджорни с применением своих нарисованных работ (я хотел что бы выдерживаласть общая стилистика именно моих работ и был общий эмоциональный фон). Видео оживлял в пикалабс и ранвэй. Потом убирал водяные знаки и поднимал качество видео, а так же количество кадров в топаз аи. Некоторые видео дооживлял со скриншота последнего кадра, так как пикалабс не дает больше 3х секунд. Задумка показать некоторую заснеженную страну пораженную загадочной темной материей."
Метаверсище и ИИще 2023-12-28 13:54:00
Сейчас немного натаскаю контента из нашего умного чата. Подписчики у меня плазменно-креативные, генерят контент, а не жмут лайки или постят мемы. Ну подстать каналу, вы поняли, кто ж еще сам себя похвалит.
Просто послушайте.
Я залипаю на фанке, давно и неизлечимо. Когда-то Jamiroquai разорвал мои шаблоны перепрочтением всего это культурного наследия.
Но когда подписчики генерят вот такой вот фанк в Suno.ai, мне становится не по себе.
Подпевки, мелизматика, диапазон вокала, узнаваемый звучок начала 70-х.
Немедленно вспомнился сериал Винил - совершенно чумовой проект Мика Джаггера и Мартина Скорсезе.
Скоро будем снимать сериалы покрикивая промпты в монитор и озвучивать их автоматически, ИИ сам поймет что туда присунуть - фанк или лофай.
Сиолошная 2023-12-28 13:41:24
С одного из положений кекнул — смотрите, ChatGPT может ходить в интернет! И там читать что-то, что потом показывает пользователю. Невероятно!
Эта комичная ситуация для меня скорее указатель на то, что запрета на использование данных не будет: схожее дело в своё время выиграл Google. Показывать и цитировать источники, предоставляя доступ к информации — не то же, что выдавать их за свои. Суды США точно не пойдут разом против всего тех-сектора, запрещая использование проприетарное онлайн-материалов, тут можно быть спокойным.
В общем, очень интересно, на чём по итогу сойдутся все стороны!
Сиолошная 2023-12-28 13:38:16
Сегодня вы наверняка прочитали в новостях, что New York Times (NYT) подали в суд на OpenAI (OAI). В начале уже следующего года нас ждёт много интересных обновлений по этому делу — и за этим надо следить, так как прецедент очень важный, с потенциалом повлиять на ход развития AI.
Почему? Потому что давно известен факт, что данные — новая нефть, особенно в эпоху больших языковых моделей. Хоть тема синтетических данных (таких, что сгенерировала другая модель) и горячо обсуждается, реальных успехов пока не было: максимум получалось обучить маленькую, но удаленькую модельку с уровнем навыка не выше учителя (GPT-4).
Но неужели NYT — такой важный источник, что за него стоит переживать? Например, в одном из крупнейших открытых датасетов Common Crawl NYT является самым крупным проприетарным «контрибьютором» (недобровольным): больше только у английской Википедии (примерно столько же) и реестра патентов, хранящемся на серверах Google. Звучит солидно, однако это капля в море. Но если будет прецедент — все сразу же побегут подавать в суд и требовать свой кусок пирога, и OAI, как и другие игроки рынка, либо разорятся, либо существенно урежут объем собираемых данных.
В иске утверждается, что NYT с апреля 2023го делали безуспешные запросы в OAI с целью договориться. Главной целью истца является «гарантия, что они получают справедливую оплату за использование своего контента». Интересно, что совсем недавно OAI заключили партнёрство с AxelSpringer (владеют изданиями Politico и BusinessInsider), да и анонсировали программу коллаборации по созданию и лицензированию датасетов (писал тут). Видимо, договориться не удалось — быть может, NYT требовали слишком много, а может и что-то иное.
В качество доказательств NYT прилагает порядка сотни скриншотов, где демонстрируется GPT-4, практически идеально воспроизводящая по первым предложениям новости бóльшую часть её текста — и почти никогда не идеально, нет-нет да и проскакивает замена слова на синоним, другой предлог или что-то такое. Всё же стоит помнить, что языковые модели не хранят внутри себя тексты в прямом смысле, поэтому не могут их воспроизводить один в один. Пользователи в твиттере уже опробовали те же затравки — и GPT-4 не выдаёт ответы, близкие к оригиналу. Ну а что вы хотели, вероятностная модель, раз на раз не приходится. Этого NYT тоже боятся — мол, а вдруг там будет врака, и кто-то подумает, что это мы виноваты?
Правда последний тезис они доказывают достаточно смешно: дают задачу модели написать новость про что-то «в стиле крупных изданий». Ну та, естественно, выполняет инструкцию — а те удивляются, как же так! Модель сгенерила фейковую новость от лица NYT! Невероятно
В общем, остро встаёт вопрос о fair use материалов издания. Ключевое понятие в этой теме — это transformative content. Вы можете использовать чьи-то материалы, если действительно выполянете работу, которая преобразует его в нечто новое, приносящее дополнительное value, и при этом аккуратно относитесь к источнику. По этому принципу BadComedian делает обзоры — он и не показывает сразу весь фильм, и в то же время даёт огромное количество комментариев. ChatGPT делает то же самое — она не только новости NYT пересеказывает, но может выдать и сотни миллионов уникальных сообщений для миллионов пользователей. С этой точки зрения кажется, что OAI будут в дамках.
Будем посмотреть!
Метаверсище и ИИще 2023-12-28 13:30:29
Давно топлю за умную одежду. Встраивать сенсоры в швы (или еще куда-то), собирать данные, подучивать ИИ - и можно иметь ежедневную диагностику кожаного мешка по сотне-другой параметров. От двигательной активности до стресс-тестов по кожной проводимости.
Вот очень интересный кейс, где вместо того, чтобы встраивать ЭЭГ в виар-масочки, которые никто не носит, компания за коллабилась с .. производителем шляп!
Теперь умные шляпы мониторят вашу башку, а ИИ все это переводит на человеческий.
Оставим за кадром соотношение полезного сигнала и шума, это отдельный вопрос.
Но заход в масс-адопшен через одежду - это прям правильно!
Вместо того, чтобы городить все эти обручи и гарнитуры на башку (чем, собственного BrainBit и занимались), имеет смысл интегрироваться в то, что люди и так носят по любому - в одежду.
https://www.linkedin.com/posts/brainbit_brainbit-brain-brainactivity-activity-7144758605676818432-SECQ
Метаверсище и ИИще 2023-12-28 13:12:42
Тут вот телеграм канальчики неистово перепащивают очередную яркую картинку с генеративными генераторами всего. Никто же в картинку не заглядывает, главное трафик в канал загонять.
Но если в картинку поглядеть, то выясняется, что там Suno.ai вообще нет, Midjourney там в разделе генераторов видео, про D-ID молчок, Ideagram или Emu отсутствуют как класс (хотя они бесплатные и хорошие). В общем там полурандомный устаревший набор сервисов, но зато картинка красивая, можно падпищекам показывать.
Ну и пытаться собирать ИИ-сервисы в одной картинке, статье, или еще где-то похоже на странную идею сделать карту интересных сайтов или приложений в одном месте.
Если уж вам очень хочется чего-то похожего, с рубрикацией и обновляющегося каждый день, то шуруйте сюда, и не обращайте внимания на яркие цыганские картинки. Они дезинформируют неокрепшие умы.
https://www.futuretools.io/
Метаверсище и ИИще 2023-12-28 12:45:56
Апдейт Suno.ai просто огнищенский.
Вы просто послушайте рождественскую песенку в шапке.
А теперь отмотайте на год назад, когда были только амбиентные клипы от муберта или айвы, а про генерацию вокала никто даже не заикался.
Там появился режим Remix и Continue from this Clip. Теперь можно генерить бесконечно долгие композиции, просто попросив их продолжать.
И он умеет не просто продолжать, он делает идеальные переходы, если замысел композиций различается (тут диджеям стоит напрячься). Этакий inpainting и outpainting для музыки.
Я слушаю и не верю, что это сгенерил ИИ.
Вопрос с генерацией музыки для заполнения эфира закрыт.
Суно очень удачно выбрался из Дискорда и прикрутил социальные механики к композициям - теперь народ сам размечает музыку, а ИИ только считывает рейтинги и ну генерить хиты.
Го пробовать!
Метаверсище и ИИще 2023-12-28 12:33:37
Интересная статья и калькулятор расхода видеопамяти при использовании разных LLM.
Cколько VRAM требуется GPU для обучения и файнтюна языковых моделей? Какие факторы влияют на потребление VRAM? Как оно меняется при различных настройках модели?
НЕ рассматриваются вопросы использования кванитизированных моделей и лор.
Статья: https://asmirnov.xyz/vram
Калькулятор: выбираете LLM и параметры, инференс или обучение и жмете кнопку посчитать.
https://vram.asmirnov.xyz/
Сиолошная 2023-12-27 15:08:02
Habr подвёл итоги года, внезапно для себя обнаружил, что попал в два топа:
— седьмая самая залайканная статья (Как работает ChatGPT)
— она же вторая самая просматриваемая (!), а статья про GPT-4 стала девятой самой просматриваемой за год.
Рекомендуй друзьям подписаться на качественный контент 😎 @seeallochnaya
Neural Shit 2023-12-26 16:13:23
От подписчика.
Новогодние наборы лего
Neural Shit 2023-12-26 14:42:39
Сгенерировал новогоднее поздравление президента, если бы им был Говард Лавкрафт. Мне нравится, всяко лучше однотипной хуйни, которую каждый год рассказывают президенты.
>>В этот новогодний момент, когда ветры Ктулху веют сквозь звездные пустоты, я обращаюсь к вам с тенью в сердце и холодом в душе. Под зловещим светом ползучих звезд, мы вступаем в 2024 год, год, который несет с собой темные предзнаменования и неведомые ужасы.
Мы стоим на грани абсолютного ничтожества, где реальность исчезает, как тень в ночи. Перед нами мрак и бездна, и в этом безумном калейдоскопе событий, только те, кто отважится заглянуть в самые глубины бескрайних абсурдов, смогут найти путь в этом мире, где бессмысленность и ужас плетут свои нити.
Пусть эти праздники напомнят нам о нашей ничтожности перед бескрайней чернотой космоса и о том, что наши усилия напрасны перед абсолютной неизбежностью. Пусть каждый светящийся гирляндой момент напомнит о том, что среди блеска огоньков таится абсурдность бытия.
В этот новогодний вечер, когда Звезда Долгожданного Падения достигнет своего апогея, давайте вместе взглянем в пропасть неизведанных грез и страхов, чтобы обрести мудрость встречи с бескрайними несбывшимися возможностями.
С поклонением перед бескрайней тьмой, ваш президент Говард Лавкрафт.
Neural Shit 2023-12-26 14:16:27
Киберпанк, который всем нам нужен.
В Англии запустили нейронку, которая с помощью камер определяет пидрил разбрасывающих мусор на улицах и автоматически выписывает чуханам штрафы.
Neural Shit 2023-12-26 13:32:38
Не очень люблю разные музыкальные AI каверы, ибо там 95% сделано слишком убого (а по сути, только несколько каверов голосом Летова нормальные).
Но вот это прям заебок! Автору моё почтение
Сиолошная 2023-12-26 03:00:20
Грустные новости
Пару дней назад первая ступень ракеты Falcon 9 с номером B1058 завершила свой 19-й полет. Это был ускоритель-ветеран, начавший свою историю в 2020м году с отправки двух космонавтов на МКС и затем выведший на орбиту более 860 спутников и 260 тонн полезной нагрузки.
19 запусков — абсолютный рекорд. Именно этот ускоритель первым прошёл отметки в 15...19 пусков — летал на орбиту как к себе домой. Напомню, что изначально программа Falcon разрабатывалась с прицелом на переиспользование в 10 полётах, но по ходу доработки и развития технологии инженерам удалось существенно расширить жизненный цикл «Соколов».
Достойно завершив свой последний полёт и сев на баржу в Тихом океане, B1058 должна была приплыть во Флориду.
Однако сегодня рано утром во время транспортировки обратно в порт ступень опрокинулась из-за сильного ветра и качки. Вот так вот старушка не смогла выйти на пенсию
Все новые ускорители Falcon 9 имеют модернизированные посадочные опоры с возможностью самовыравнивания для минимизации проблем такого типа, так что схожих проблем в будущем не ожидается.
Метаверсище и ИИще 2023-12-25 19:41:06
Смотрим ещё одну ИИ видео работу от подписчика.
Работа в comfyui co Stable Diffusion Video
Полностью текстовая генерация text-sdxl-svd,
голос eleven.lab,
монтаж, цвет, звук cap cut (музыка из его библиотеки)
на все ушло около 12 часов.
Автор - Павел Перегудов.
Пасхалочка про Маска чудо как хороша.
Ну и вообще виден опыт постпродакшена, монтаж огненный
Denis Sexy IT 🤖 2023-12-25 19:15:20
Кажется 2024 год начнется со скандала между Midjourney и владельцами копирайтов на которых натренирована их последняя v6 модель
«Вас заметили» moment
Слухи, что MJ тренируют на фильмах я слышал еще год назад от каких-то челов из долины, но я честно думал они с нормальной лицензией фильмы используют
И суд точно будет, за 2023 год MJ заработало почти 300 миллионов долларов
Метаверсище и ИИще 2023-12-25 16:30:40
Трушный метаверс все ближе. На кончиках пальцев и под кожей у кожаных.
Интересную работу вам принес под новый год.
Вот мы тут толкуем про мультимодальность, в основном имея в виду тексты, звук и картинки.
Мы потребляем интернетик и метаверсик в основном глазками и ушками, а про очень смешные примеры стимулирования кожаных мешков запахами, постукиваниями и даже химическими реакциями я уже писал вот в таком марафоне полтора года назад:
А как насчет осязания и тактильных ощущений?
Кожаное тело способно воспринимать широкий спектр тактильной информации, когда оно физически сталкивается с различными объектами. Эта способность поддерживается биологическими механизмами, которые позволяют человеку обрабатывать множество типов тактильной информации.
Товарищи китайцы разработали интерфейс тактильной обратной связи с многомерными режимами стимуляции. Он избирательно стимулирует различные рецепторы, воспроизводя тактильные ощущения, соответствующие различным текстурам.
Короче, под кожу загоняют гибкие датчики (чипы) с обратной связью. Они не только считывают информацию, они еще и изысканно и прицельно бьют кожаного малыми токами, заставляя чувствовать специфические, и главное, разные ощущения.
Там два типа воздействия: первый из них фокусируется на электростимуляции, а второй воспроизводит тактильные сигналы посредством механического воздействия (датчик гибкий).
Авторы слегка укушены метаверсом, поэтому сконцентрированы на VR, и позиционируют свою работу "для создания очень захватывающего VR-контента, также сопровождаемого реалистичными тактильными ощущениями".
Но мы-то знаем, что прогрессом движет адалт-индустрия, и что на эту поляну придут взрослые ребята, чтобы расширить вашу мультимодальность до новых специфических ощущений.
Хищные вещи века все ближе. Шлем на голову, датчик под кожу и ну залипать. От такого метаверсика будет трудно отказаться.
https://techxplore.com/news/2023-12-skin-integrated-multimodal-haptic-interface-immersive.html
Поглядите на эту разводку чипов для кисти руки, это же прекрасно!
эйай ньюз 2023-12-25 15:34:53
Принес вам 14 книг по Machine Learning для прочтения в 2024 году
Вкатывающимся в ML вархиважно иметь структурированную информацию для обучения. Чтобы избежать головокружения от длины списка, советую для начала выбрать по одной книге из каждой секции и вперёд штудировать!
1. Deep Learning: Foundations and Concepts (Bishop & Bishop, 2023)
2. Deep Learning (Goodfellow, Bengio, Courville, 2016)
3. The Little Book of Deep Learning (Fleuret, 2023). [тык]
4. Mathematics for Machine Learning (Deisenroth, Faisal, Ong, 2020)
5. Probabilistic Machine Learning (Murphy, 2012-2023)
6. Linear Algebra and Learning from Data (Strang, 2019)
7. Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow, 3rd Edition (Géron, 2022)
7. Dive into Deep Learning (Zhang et al., 2023)
9. Designing Machine Learning Systems (Huyen, 2022)
10. Fundamentals of Data Engineering (Reis & Housley, 2022)
🤗 LLM-ки
11. Natural Language Processing with Transformers, Revised Edition (Tunstall, von Werra, Wolf, 2023)
12. Hands-On Large Language Models (Alammar and Grootendorst, 2024 - WIP)
13. Generative Deep Learning, 2nd Edition (Foster, 2023)
14. Hands-On Generative AI with Transformers and Diffusion Models (Cuenca et al., 2024 - WIP)
Многие из книг можно найти в интернете бесплатно. Список, конечно, не исчерпывающий, но довольно вместительный.
Список подготовил мой знакомый из Hugging Face, Omar Sanseviero, а я его дополнил. #книги #books
@ai_newz
Метаверсище и ИИще 2023-12-25 11:07:24
А тем временем вот это вот месиво из тысячи с лишним немодерируемых плагинов для chatGPT теперь именуется Plugin Store.
Потихоньку идет подготовка к GPTs Store.
Ну и существующие плагины могут быть без труда превращены в Actions для Джипитишек.
Об этом даже пришло письмо из Open AI.
Для меня главный вопрос - модерация. Десятки тысяч существующих Джипитишек - откровенный шлак, с плагинами - такая же история, более того, мой антивирус неистово орет, когда я проматываю список плагинов - там полно ссылок на очень спорные ресурсы.
Pavel Zloi 2023-12-25 07:39:26
Всем привет! Хочу рассказать про ещё одну обученную мною модель под названием PavelGPT-7B-128K-v0.1-LoRA, на этот раз я взял скрипты Saiga (rulm) и модифицировал их таким образом, чтобы получить языковую модель типа INSTRUCT, но с данными оформленными в виде чата (для того чтобы её было легко использовать в связке с проектами типа text-generation-webui).
В качестве основы взял Yarn-Mistral-7b-128k, а датасеты собирал так, чтобы модель могла не только решать базовые задачи, но и отгадывать загадки, а ещё решать несложные математические задачки, писать небольшие тексты, составлять оглавление и создавать простые скрипты.
Вот все ссылочки, которые могут пригодиться:
- скрипт обучения модели
- отчёт обучения на wandb
- тестовые ответы модели в карточке на huggingface
- скрипт запуска модели
PS. Мне давно хотелось сделать себе чуть более умного помощника для работы с документацией которую я храню в Obsidian и пока что впечатления от использования данной модели более приятные чем от предыдущих моих экспериментов.
Надеюсь вам данная моделька тоже окажется полезной :)
#ai #saiga #gpt
Сиолошная 2023-12-24 19:25:22
YouTube — феномен нашего времени, ставший неотъемлемой частью человеческой культуры. Там есть всё, от шуток с котятками до разностороннего освещения политической повестки практически каждой страны. По этому сайту можно делать кучу высокоуровневой аналитики, опираясь на подвыборку видео. Для того, чтобы такая аналитика была близка к правде, выборка должна быть случайной.
«Ну так чо ты а, выбери случайные видео» — можете сказать вы. А как? и насколько это удачный метод? Ну, если посмотреть на ссылку, то можно заметить, что там есть уникальный код из 11 символов, с буквами и цифрами. Но этот код присваивается случайно — как минимум для того, чтобы нельзя было быстро итерироваться по всем видео прибавляя единицу к номеру. Поэтому не получится просто брать следующий или предыдущий — каждый раз нужно угадывать заново.
Проблема в том, что доля существующих ID из всех возможных ничтожна — примерно 0.0000000180599%. То есть вы можете перебрать миллион ссылок. генерируя цифробуквы случайно, и ни разу не найти видео. Вот уж никогда бы не подумал, что будет так сложно собрать случайную репрезентативную выборку!
Вот тут совсем недавно предложили более эффективный способ. Оказывается, в одном поисковом запросе можно:
1) указывать ID видео, а не человекочитаемый текст
2) указывать до 32 ID за раз
3) хоть строчные и прописные буквы влияют на ID, при поиске разницы нет (гугл перебирает за вас).
Получается, одним поисковым запросом можно вытащить результаты по 32768 ID (там может быть 0 реальных видео, тогда поиск ничего не вернёт). И вы не поверите, сейчас это самый эффективный доступный способ (понятно, что внутри гугла все цифры так и так доступны, это для нас, смертных).
А вот тут доступна сводка на основе 25 тысяч видео, выбранных действительно случайно. По оценке, существует «всего» 13.3B видео. Русский язык занимает 6-ое место по популярности (5.6% видео). Медианное видео имеет 0 лайков и комментариев, длится 67 секунд и имеет 40 просмотров.
И в завершение порекомендую пятиминутное видео от Tom Scott про ID'шки ютуба, снятое одним дублем.
эйай ньюз 2023-12-24 14:15:28
Галя, отмена! В 2024 AGI ещё не будет.
@ai_newz
эйай ньюз 2023-12-24 12:51:40
Ура! Нас 40 тысяч!
Приятно видеть столько умных и заинтересованных в эйай людей вместе. Я, правда, не думал, что на русском языке можно набрать такую большую аудиторию, ведь контент в канале зачастую не самый легкий.
Поделюсь с вами, про мои самые любимые плюшки, которые я как автор обрел благодаря каналу.
1. Теперь, я получаю удовольствие вдвойне при прочтении новой статьи. Во-первых от получения новых знаний, а во-вторых мне радостно делиться информацией с вами и объяснять сложные вещи.
2. Огромное количество новых знакомств, которые принесло ведение канала. Мой нетворк значительно вырос и распространился по всему миру. Иногда поступают очень интересные предложения о коллаборациях и партнерствах либо просто встретиться на кофе в новом городе.
3. Во время нескольких последних поездок на конференции (CVPR, ICCV в этом году) у меня прям здорово получалось наводить движ благодаря комьюнити, которое образовалось вокруг канала. Было приятно знакомиться и общаться с вами! И я, кажется, понял, что мне очень нравится организовывать такие тусы.
В августе я проводил большой опрос читателей. Cкоро поделюсь его результатами и тем, как на базе этого я планирую развивать контент.
Надеюсь, что наше комьюнити будет и дальше активно развиваться! Merry Christmas!
@ai_newz
Neural Shit 2023-12-24 11:35:32
Чот в голос с этого.
Новый миджорни очень крут!
Denis Sexy IT 🤖 2023-12-24 10:05:19
Чел подключил лицо к джойстику и играет в эмоции на максималках, идеально для интровертов или на кинк на вечеринках
A, C, ↑, B, ↑, B, A, ↓ и партнерша тобой доовольна
Тут инструкция как собрать себе такое же