Нейролента - подборка новостей о нейронных сетях, ChatGPT

эйай ньюз

All about эйай ньюз

2024-05-03 10:58:09

Раз уж в последнее время много говорим про ChatBot Arena, то грех было бы не упомянуть про новый бенчмарк от тех же авторов – Arena Hard v0.1. Суть в том, что хочется найти способ оценивать качество моделей без участия людей, вот и придумали новый бенчмарк, который аппроксимирует человеческую оценку – конечно не без предвзятости, т.к. используют GPT-4 для оценки моделей, но зато быстро!

Я собирался написать более детальный разбор, но увидел, что это сделал Игорь @seeallochnaya. Можно начинать читать отсюда https://t.me/seeallochnaya/1345 и идти вниз по постам-картинкам.

И вообще, у Игоря на канале качественные посты про LLM, от их влияния на бизнес и до разбора передовых исследовательских статей. Пользуясь случаем, рекомендую вам подписаться — в прошлый раз советовал лекцию с рамках DataFest 2023, а уже совсем скоро, в конце мая, будет DataFest 2024. Игорь организует там целую секцию, и выступит с открывающим докладом - так что не пропустите!

@ai_newz

2024-05-02 21:00:03

Интересно, как в борьбе за хайп уживаются большие команды с мегатоннами вычислительной мощности, и те что поменьше, университетские группы и маленькие стартапы или компании с небольшими R&D отделами. Эту тему на своем примере подняли ребята из Tinkoff Research в недавнем интервью. Учитывая, что видеокарты не бесконечны, важнейший исследовательский трек для них — повышение эффективности моделей, и выбор неочевидных направлений, в которые копает чуть меньше групп, но которые, по их мнению, могут быть намного перспективнее.

И действительно, пока читаешь все эти пейперы и релизы, нет нет да замечаешь интересный, но казалось бы, очевидный паттерн. Небольшие исследовательские группы генерируют более креативные идеи. Особенно с точки зрения оптимизации. Что в конечном счете и крупным компаниям позволяет клепать модельки быстрее и лучше. А еще маленькие команды кажется чаще рады поделиться исходным кодом.

В мире AI сейчас доминируют технологические гиганты, такие как Google, Meta, OpenAI и DeepMind. У них есть огромные ресурсы - тысячи инженеров и исследователей, а тонны GPU для тренировки моделей с сотнями миллиардов параметров. Но значит ли это, что небольшим исследовательским группам и стартапам нечем заняться в AI? Вовсе нет!

C дивана мне в голову пришло сразу несколько направлений, где небольшие команды могут проявить себя и сделать значимый вклад:

- Тюнинг и адаптация открытых моделей вроде LLaMA, Stable Diffusion под конкретные прикладные задачи. Большие foundation модели дают отличную базу, но для многих реальных применений их нужно дообучать на специфичных данных.

- Дистилляция знаний (distillation) и сжатие моделей - позволяет уменьшить размер моделей в разы и даже на порядки без существенной потери качества. Это критично для многих сценариев использования AI на мобильных устройствах и в реальном времени.

- Исследование ошибок и уязвимостей больших моделей, разработка методов для их детекции и устранения. Даже лучшие модели вроде GPT-4 могут выдавать неверные факты, проявлять предвзятость, быть подвержены adversarial атакам. Здесь огромное поле для исследований.

- Разработка новых архитектур, механизмов внимания, техник обучения, которые позволяют эффективнее обучать модели. Яркий пример - техника chain-of-thought prompting, которая значительно улучшает способности LLM к рассуждению, при этом не требуя дообучения модели. Статья с ее описанием, уже набрала более 4500 цитирований! То есть не нужны тысячи видеокарт, чтобы создать что-то влиятельное.

- Применение AI в узких предметных областях, где нужна глубокая экспертиза в конкретной сфере - медицине, биологии, физике, экономике и т.д. Большие универсальные модели не всегда лучше работают, чем модели обученные на специфичных данных.

Есть немало примеров небольших групп, которые успешно конкурируют с гигантами индустрии. Например, парижский стартап Mistral, где изанчально было 3 человека (да, соглашусь, не совсем корректный пример, потому что компания подняла $115 млн в первые недели существования). Из близкого многим читателям, опять же, Tinkoff Research - команда из 12 человек (20 со студентами) в компании, которая никогда AI-ресерчем до этого не занималась, умудрилась опубликовать 4 статьи на NeurIPS 2023 (об одной из них писал тут). Или вот Midjourney с командой менее 50 человек (а инженеров и того меньше) создали и дальше двигают одну из лучших в мире технологий генерации изображений по тексту - восхищаюсь их результатами. Все благодаря фокусу на конкретной задаче и хитрым идеям.

Поэтому не стоит думать, что если у вас нет ресурсов тренировать гигантские модели, то вам нечем заняться в AI (я часто слышу такое от студентов, с которыми общаюсь). Наоборот, именно небольшие креативные команды зачастую делают прорывы и открывают новые направления, которые потом подхватывают большие компании. Главное - выбрать правильный фокус и упорно работать над решением важных проблем на стыке AI и конкретных предметных областей.

@ai_newz

2024-05-02 20:07:55

Привет, друзья! Я наконец вернулся из Кремниевой долины, и хочу поделиться своими впечатлениями.

В прошлую пятницу вечером я организовал небольшую тусовку с подписчиками, которая прошла просто на ура!

В моем канале действительно высока концентрация очень приятных и открытых людей, и на каждой новой встрече во время моих поездок в другую страну я обязательно знакомлюсь с новыми крутыми ребятам! Вот вам пример: я не знал, где и как устроить эту встречу, а тут в комментариях один из читателей предложил затусить у него. В итоге, Мы собрались недалеко от Сан-Франциско, в уютном доме с классным пространством для тусовок на заднем дворе (Игорь, респект!).

Я немного опоздал из-за пробок - ну что поделаешь, час на машине из Пало-Альто. Собралась очень крутая компания, около 20 человек. Мы жарили мясо на гриле и говорили о насущном - от трендов в AI и стартапов до жизни в Кремниевой долине. Ребята оказались настоящими экспертами в самых разных областях - были и стартаперы, и VC-инвесторы, и инженеры из Bigtech, и PhD-студенты из Беркли. Даже был парень, который занимается развитием инфраструктуры для будущего AI, прокладывая сетевые коммуникации по всей долине, в том числе и по известному мосту Golden Gate в Сан-Франциско.

Было очень весело, все травили байки и смешные истории. Такие моменты напоминают, что у меня в канале собралась действительно крутая аудитория - открытые, интересные и увлеченные люди.

Короче, ребята, это была одна из лучших встреч, которые я когда-либо организовывал. Спасибо всем, кто пришел, и особенно Игорю и Оле за гостеприимство. Не терпится устроить следующую тусовку в другом интересном месте (ну, либо опять в Калифорнии)!

--
А в следующем посте расскажу, как прошли мои рабочие встречи с коллегами и боссами, и как меня это еще сильнее замотивировало.

#personal
@ai_newz

2024-05-01 22:11:18

Snowflake Arctic - непрофильная компания сделала LLM, результат предсказуем

Модель гигантская - 482 миллиарда параметров (больше из открытых разве только Switch Transformer 2021 года), и очень странная архитектурно - 10B Dense модель параллельно с которой засунули MoE FFN слои, в итоге это даёт 17 миллиардов активных параметров. Длина контекста - всего 4k токенов (даже 8k у LLaMa 3 сейчас считается маленькой), но обещают поднять до 32k.

Не смотря на огромные размеры, модель тренировали всего ~400k GPU часов. Это в три раза меньше LLaMa 3 8B, от которой она слегка отстаёт на большинстве общих бенчмарков, но слегка обходит на кодинге и следовании инструкциям. Пейпера нету, но тренировку обещали описать в серии постов, которая ещё публикуется.

Из-за огромного (128) количества экспертов, модель имеет смысл использовать только в энтерпрайзе с батчсайзом в тысячах. Единственный юзкейс который я смог придумать для себя - тесты железа на может ли оно запустить LLaMa 3 405B.

Модель
Демка
Блогпост
Серия постов с деталями тренировки

@ai_newz

2024-04-29 21:49:12

Умельцы из твиттера сделали инфографику о том, как топ ChatBot Arena менялся за последний год.

Чат-гпт все ещё держится, но ей дышат в затылок. Конкуренция идёт серьезная. Посмотрим, есть ли у ClosedAI ещё козыри в рукаве.

Что такое ChatBot Arena – тут.

@ai_newz

2024-04-28 15:52:15

Нейродайджест за неделю (#15)

1. Хайлайты из US
- Вылетаю из Цюриха в Сан-Франциско для встреч с коллегами, ну и чтобы отметить успешнвй релиз Imagine Flash и LLaMa-3.
- Румтур по офису Мечты от Меты в Menlo Park, где работает несколько десятков тысяч человек.
    - О Сан-Франциско, и о сходке.

2. Роботехам стало скучно.
   - Огнедышащий робо-пес от Throwflame теперь доступен для покупки каждому психопату.
- Как развлекается кофаундер HuggingFace: создали робота Немо из г*ван, палок и трёх open-source LLM.

3. ЭйАй селебрити

- Марк Цукерберг кайфанул от Imagine Flash и почему-то задумался об открытии магазина мяса после ухода из Meta.
- Сэм Альтман выступил в Стэнфорде, таких очередей не видели даже в советском союзе.

8. ЛэЛэМэ
   - Microsoft выпустила Phi-3, новую модель с поддержкой 128K контекста. Я уже боялся, что она догонит Llama 8B, но чуда не произошло.
    - будущее LLM и что будет потом...
   - FineWeb - новый датасет чище, больше, круче! Все для претрейна моделей.
- OpenELM - Apple выпустили открытую LLM (с трейнинг кодом), по качеству такая себе, но важен сам факт.

9. Дегенеративные Видосы
- Vidu в шаге от Sora, китайским стартапом из универа Цинхуа наступает на пятки Open AI (если верить демке).
- Диффузионные модели для генерации видео – новый #ликбез от Lilian Weng, о текущих подходах.

#дайджест
@ai_newz

2024-04-27 21:32:07

Вчера провели шикарную сходку недалеко от Сан-Франциско, нас захостил у себя один замечательный человек, который тоже читает канал. Попозже расскажу про свои впечатления подробнее и скину фотки.

А сейчас еду в Сан-Франциско, и буду там гулять до вечера, так что если хотите пересечься — пингуйте!
@ai_newz

2024-04-27 10:57:37

🔥Vidu — Китайцы забахали свою СОРУ!

Обучили нового конкурента Альтману в стартапчике Shengshu Technology и Университете Цинхуа.

Генерит видео до 16 секунд в 1080p. Если демо не фейк, то качество Vidu уже тупо в шаге от качества генерацией Соры.

Архитектура модели вроде как основана на U-ViT, которая похожа на Diffusion Transformer, что у Соры.

Если интересно, что за мозг за этим стоит, то вот гугл сколар профиль научрука, который руководил этим проектов.

Ждём больше подробностей про эту модель! Exciting!

Блогпост на китайском

Подать заявку на доступ можно тут

@ai_newz

2024-04-26 21:10:21

Появились результаты с арены: чуда не случилось, Phi-3 mini не догнала LLaMa 3 8B, но модель показала себя очень хорошо и вполне себе тягается с Mistral 7B. Вин (или слив?) засчитан.

@ai_newz

2024-04-26 15:20:21

Microsoft выпустила Phi-3

Моделька интересная и довольно умная, есть поддержка 128к контекста, запускается на айфоне со скоростью в 12 токенов в секунду. Я не сразу запостил, потому что у неё подозрительно хорошие результаты бенчмарков: mini (3.8B на 3.3 триллионах токенов) версия модели тягается с LLaMa 3 8B (15 триллионов токенов), а medium - с Mistral 8x22B Instruct. По поводу моделей семейства давно ходят шутки из-за того что их (возможно) тренируют на бенчмарках. Однако авторы заявляют, что такие высокие метрики — следствие их датасета, который лучше всех учит модельку размышлять. Через трое суток после релиза весов я все ещё жду проверки этой модели на ChatBot Arena, так как доверия к бенчмаркам нет. [UPD: появились результаты на арене]

Предыдущие модели семейства Phi тренировали на синтетических данных, тут же, большая часть датасета - данные из интернета. Тренируют в две стадии: первая - тренировка на сильно отфильтрованных данных. На второй стадии её, как и прошлые модели, тренируют на синтетических данных, но добавляют ещё более отфильтрованную примесь данных из интернета.

Авторы пытаются отсеять данные которые LLM такого размера и так вряд ли выучит, например результаты конкретных спортивных матчей. Назвали они это Data Optimal Regime, но у него есть заметный минус: после 7B параметров качество почти не растёт, 14B моделька очень недалеко ушла от 7B модели. Тут может быть две интерпретации: первая – из датасета убрали всё, что не может понять 3B моделька (то есть что-то такое, только для LLM), вторая – модель выучила все ответы на бенчмарки, что были в датасете и насытилась. Из-за этого, хоть в пейпере речь идёт о моделях трёх размеров: mini (3.8B), small (7B) и medium (14B), пока что релизнули только самую маленькую.

--
На видео, демонстрации инференса в fp16 на M3 Max:  Вход - 131.917 tps, Генерация- 43.387 tps. Бегает шустро, но можно сделать ещё быстрее.

А вы что думаете про Phi-3?

Technical report
4k версия модели
128k версия
Тут можно початиться с моделькой

@ai_newz

2024-04-25 07:01:07

Покажу вам, что творилось в Стенфорде сегодня, когда было выступление Сэма Альтмана.

Мой отель находится буквально в 200 метрах от Стенфорда. И сегодня Сэма решил приехать в университет дать лекцию. Народ стоял в очереди как за маслом в девяностые. Я честно сказать в шоке от таких раскладов и сам, конечно, в очереди не стоял, а был на работе. Увидел эти видосы в твиттере.

@ai_newz

2024-04-25 06:07:15

Для контекста о посте ниже: Степан (автор e/acc) — фаундер и венчурный инвестор. У него можно почитать и про крипту, и про веб3 (это не формат файла, если что), ну и без AI/ML, конечно, не обошлось. А еще, как инвестор, Степан много рассуждает на тему того, как будет устроен мир в перспективе от 5 до 30 лет. Так что там не обошлось и без программируемой экономики с цифровыми государствами. Рекомендую почитать, если про такое еще не слышали — контент в канале у Степана топовый.

@ai_newz

2024-04-24 22:31:45

Diffusion Models for Video Generation

Вышел новый пост #ликбез в моем любимом блоге. У Lilian Weng (OpenAI) всегда получаются очень подробные разборы тем. На этот раз она написала про существующие подходы для генерации видео с помощью диффузии. Контент для продвинутых юдокас.

Другие крутые посты из блога Lilian:
- Про диффузию
- Про оптимизацию трансформеров
- Про другие генеративные модели

@ai_newz

2024-04-24 18:59:40

Ищем ML engineer с опытом в Gen AI (Diffusion, GAN, CV)

О нас:
Мы продуктовая ai компания, сделали uncensored 18+ multimodal AI chat (text, photo, voice) и сейчас имеем сеть крупных клиентов из adult, dating индустрии с миллиардами юзеров в месяц, которые наши продукты берут себе как SaaS whitelabel. У нас сильные ребята в rnd (из Stability AI, Meta), и мы расширяем команду rnd в сфере vid2vid и text2vid.

Задачи:
- Ресерч и воспроизведение текущих опенсорс решений.
- Эксперименты с допиливанием и файнтюном текущих решений до прототипов.
- Video editing, image to video, text to video
- Video to anime, video filters as de-aging, hair color stylization, enhancement
- Тренировка adult foundation model

Есть доступ к большим объемам данных и видеокартам. Сделаем то, чего еще нет в adult индустрии.

Если у тебя нет подходящего опыта, но есть хорошее образование (мфти, шад, и ты внимательно дочитал до сюда, то бронируй сразу календли дот ком слеш vb--fdmx) тоже не стесняйся откликаться, мы набираем большую разнообразную команду под этот ресерч.

$1000 за успешную рекомендацию после прохождения ИС

Заполняй форму и отправляй друзьям!
https://forms.gle/oywNE9VAG6xue4xh6

Полный текст вакансии:
https://teletype.in/@softpear/D5xjp1xuP_-

#промо

2024-04-24 01:08:07

Сделал вам небольшой румтур по офису Мечты Меты в Menlo Park.

Я сейчас в Менло Парке, тут самый большой офис Меты в мире, где работает наверное несколько десятков тысяч человек. Да, это шокируют, но и размах пространства тут соответствующий. Приходится на маршрутке либо велосипедах передвигаться между корпусами.

Сижу в том же здании, где и сам Марк Цукерберг. Позитивно заряжаюсь от рабочей суеты, когда много людей в офисе. Народ кодит, рисует на вайтбордах, обсуждают идеи, толпится на микрокухнях и общается. После небольшого цюрихского офиса, тут все выглядит очень очень движово.

---
Кстати, я обещал создать чатик для встречи в Пало Альто либо рядом. Вот он — присоединяйтесь, если хотите поужинать либо встретиться на пиво сегодня.

@ai_newz

2024-04-23 15:32:47

FineWeb - открытый датасет масштаба LLaMa 3

Взяли CommonCrawl, отфильтровали оттуда 15 триллионов токенов (прям как у LLaMa 3). Вышло лучше большинства других датасетов для претрейна. Тестят они это натренировав на ~350 миллиардах токенов из каждого датасета 1.8B модель, а вообще в процессе разработки датасета натренировали 200+ мини-моделей. График красивый но слегка устарел - у датасета Dolma (в котором всего 3 триллиона токенов) на днях вышла версия получше, с ней сравнить не успели и кто из них лучше - пока непонятно.

Иметь хороший датасет крайне важно, "garbage in, garbage out" распространяется на ИИ больше чем на всё остальное и именно в качестве датасетов огромное преимущество больших лаб. Это видно, например, на Falcon 180B, который тренировали на 3.5 триллионов токенов ($30 миллионов в AWS, ничему жизнь не учит), только затем чтобы слегка обогнать LLaMa 3 8B (~2.5x меньше компьюта) и безнадёжно отстать от LLaMa 3 70B (~2x больше компьюта). И, несмотря на то что Falcon оптимальный по Шиншилле (соотношение токенов/параметров чтобы модель вышла наилучшей при фиксированном компьюте), он не добивается особо выдающихся результатов по сравнению с моделью которая в десятки раз быстрее и в разы дешевле в тренировке. И всё (по крайне мере) из-за датасета.

Пока релизнули только англоязычный датасет, многоязычный обещают чуть позже, и я обязательно напишу о его релизе. Плюс открыли не только датасет, но и скрипты которыми его фильтровали!

Датасет
Пайплайн фильтрации

@ai_newz

2024-04-22 16:46:05

Вау! Марку действительно нравится наша моделька. Он протестил Imagine Flash — говорит, если он когда-нибудь уйдет из Мета, то откроет магазин мяса Mark's Meats 🥩.

@ai_newz

2024-04-22 14:46:01

Многие любят читать биографии крутых чуваков по типу Стива Джобса, Маска и т.п. Видимо, надеются узнать, как сделать также 🤷‍♀️. К сожалению, правда в том, что им несказанно повезло, и таких историй единицы. Если смотреть на мир под чуть более реалистичным углом, то, если уж стать миллиардером, запустив свой мегапродукт, может и не получится, то стать директором какого-нибудь клевого IT-направления, мне кажется, вполне под силу каждому, кто пытается.

Так вот, на этой неделе Яндекс проведет открытый лекторий, приуроченный к 10-летию Факультета компьютерных наук ВШЭ,  с топ-менеджерами компании. Это отличная возможность поучиться у лучших спецов Яндекса.

24-го числа будет открытие с фуршетом и небольшой приветственной лекцией. Из прикольного, то, что можно будет задать спикерам любой интересующий вопрос по этой форме. А ещё две встречи будут в мае и июне.

К слову, ведут лекции директора направлений Яндекс Образования и Вертикалей (это авто, я.недвижимость и пр). Вот здесь немного подробнее. Спикеры поделятся личными историями о развитии в IT и о том, как сделать так же. У них можно будет спросить совета о своем возможном будущем.

Участие, конечно же, бесплатное. Онлайн, только нужно зарегаться.

Регистрация
Форма для вопросов
#промо

2024-04-22 06:42:10

Коротко о том, как развлекается кофаундер и CSO HuggingFace🤗

Чуваки сделали умного робота из г*вна и палок машинки на пульте управления и трёх open source нейронок:

Whisper - распознаёт речь.
Idefics2 - ЛЛМ с виженом.
Parler-TTS - голос робота.

Все под управлением Dora-CS, а компьют лежит на ноуте, но связь по безпроводу.

Назвали мило Немо😊

Малой неплохо так катается по офису, вроде как, даже знает, где кухня. На видео (лучше сами гляньте) один из разрабов вежливо просит привести ему кофе, но оказалось, что кофемашина на ремонте, о чем преданный четырёхколёсный отчитывается хозяину. А еще эта штука кажется понимает язык жестов и едет туда, куда ты тыкаешь.

Вот э тайм ту би алайв!

Твит
Код

@ai_newz

2024-04-21 10:28:21

Друзья, прямо сейчас вылетаю из Цюриха в Сан-Франциско. Буду там неделю, нужно встретиться с коллегами и боссами лицом к лицу, и, конечно, отпраздновать успешный релиз.

Буду рассказывать хайлайты из поездки, так что накидайте бустов, чтобы я мог постить стори: https://t.me/boost/ai_newz

ПС, если есть кто в районе Менло Парк или Пало Альто — пишите в комменты, может пересечёмся

😉

#personal
@ai_newz

2024-04-21 09:09:56

Дайджест за неделю (#14)

1. Ведомости с просторов интернета:
- В Chatbot Arena Альтман наносит ответный удар 🤭 GPT-4 Turbo победила Opus, забрав топ-1 обратно.
- Boston Dynamics представила Atlas, нового гуманоида для битья на электродвигателях вместо поршней.
- У Adobe закончился контент, теперь адобченко платит за плодосъемы для датасетов по 3 бакса в минуту.
- *слух* TikTok экспериментирует с AI-инфлуенсерами для рекламы. Подстава для кожаных тиктокеров?
- Невнятный релиз Stable Diffusion 3 API. SD3, по-братски, выйди и зайди нормально. Красиво, как обещали в пейперах. Мы подождем.
- Gemini Ultra обошлась в 191.4 млн $. Небольшой реалити чек от гугл.
- LLM дайджест за неделю.

2. Почитать на досуге:
- Курс Эндрю Ына "ChatGPT Prompt Engineering for Developers". Хотелось потестить, вот вывод: поможет только новичкам.
- AI Index Report 2024 обзор основных тезисов из огромного отчета от Стэнфорда.
- Запись доклада авторов SORA. Шакальная запись митапа в долине для главных фанатов. Хоть немного приоткрывающая завесу тайны их супер видео модели.

3. Обо мне : )
- Сгонял в Гамбург. И немного размышлений о рынке труда.

4. Meta в опенсорсе:
- Анонсы 1 и 2 от самого Цукерберга.
- LLaMa-3 - новая топ-1 open source LLM. Результаты ChatBot Arena.
- Imagine Flash лично от меня 🤌 (и команды, конечно) ) – новый ультра быстрый генератор картинок уже доступен в WhatsApp и meta.ai (с впном сша). Здесь о том, как мы ускорили ее в >10 раз.

#дайджест
@ai_newz

2024-04-20 16:31:38

LLM дайджест за неделю

LLaMa 3 - главная звезда недели, открытые веса, три размера: 8, 70 и 405 миллиардов параметров, последняя ещё тренируется, что не удивительно, ведь датасет для неё это 15 триллионов токенов. Попробовать можете тут, пока только с VPN или можете скачать квантизированные веса с Huggingface, но тогда у вас не будет прекрасной функции Imagine Flash, которую тренировал ваш покорный слуга (да, я).

Pile-T5 - у всех версий T5 довольно плохой токенизатор где отсутствует куча специальных символов, ребята из EleutherAI решили это пофиксить и заменили его токенизатором от второй ламы. Вышла модель чуть лучше базовой T5, но отстающая от FLAN файнтюнов. T5 – это рабочая лошадка, юзаемая как в проде бессчётного количества компаний, так и в новомодном ресёрче вроде SD3 и ReALM, так что пользы от такой "пофикшеной" версии будет немало. А ещё это напоминание что enc-dec модели живее всех живых.

Reka-Core - ещё один encoder-decoder от выходцев из Google, проприетарная модель на уровне примерно LLaMa 3 70B и ниже Gemini Ultra. Мультимодальная, кроме картинок умеет в видео и аудио. Её всё ещё тренируют, факт релиза сырой модели удивляет, походу у стартапа просто заканчиваются деньги. Цены API на уровне GPT-4 Turbo, так что непонятно кому это вообще нужно.

Mixtral 8x22B Instruct - тюн оригинального Mixtral 8x22B, который держал первое место среди открытых моделей по ряду бенчей вроде MMLU целых 26 часов, а потом случилась LLaMa 3.

RWKV EagleX v2 - модель без аттеншна перегнала LLaMA 2 7B и почти догнала Mistral 7B. При том, что на большей длине контекста она СИЛЬНО быстрее. Очень хорошо показывает себя на языках отличных от английского. Модель всё ещё тренируют (общая тема этого дайджеста), так что скорее всего Mistral они догонят.

Хочу отметить что за последние 30 дней рекорд по MMLU среди открытых моделей (который держала Mixtral 8x7B почти 4 месяца) били ПЯТЬ раз: Grok - 73.0%, DBRX - 73.7%, Command R - 75.7%, Mixtral Instruct - 77.75% и LLaMA 3 - 82.0%.

Как вам вообще такой формат дайджеста именно по LLM, стоит продолжать?

#дайджест
@ai_newz

2024-04-19 12:07:21

🔥 LLaMa 3 конкретно ворвалась на лидерборд ChatBot Arena и уже бьет все существующие опенсорсные модели (даже Command R+, про Мистрали я вообще молчу).

И не только! Если брать запросы на английском языке, то LLaMa-3-70B-instruct уже рвет даже Claude 3 Opus и уступает только ChatGPT-4.

Голосов еще не много (чуть больше тысячи), но некие выводы уже сделать можно. Напоминаю, что это модель всего на 70B параметров.

Почитать, что такое ChatBot Arena можно тут.

@ai_newz

2024-04-18 21:36:44

Вот Марк как раз рассказывает про нашу Imagine Flash. Врать не буду, очень приятно, когда про твою работу так говорят 🙂

@ai_newz

2024-04-18 20:31:18

Принес еще несколько примеров как работает наш Imagine Flash.

Попробовать можно на meta.ai под американским VPN-ом.

@ai_newz

2024-04-18 16:52:02

Статью с деталями Imagine Flash от нашей команды можно почитать тут.

Там описываем, как мы дистиллировали базовую text2image модель Emu 2.7 B, которой требуется 25+ шагов, в Imagine Flash, которая работает за 3 шага без существенной потери в качестве.

То есть ускорили более чем в 10 раз!

Ещё Imagine Flash в meta.ai работает в несколько раз быстрее end2end чем SD3 Turbo API.

Скоро сделаю детальный разбор метода в канале.

Статья

@ai_newz

2024-04-18 16:11:47

⚡️Imagine Flash - самая быстра генерация text2image

И самая главная новость Imagine Flash – это проект который я вел, и модель, которую я лично тренировал. Мы дистиллировали и ускорили нашу text2image модель Emu, да так, что генерация работает в риалтайме пока вы печатаете промпт! Я очень горжусь тем, что мой проект, который я начал в конце прошлого года вылился в такой мощный релиз – круто видеть реальный импакт своей работы.

Модель Imagine Flash интегрирована в LLaMa. Нужно только начать печатать "Imagine ..." и моментально будет показано превью того, что вы пишете, обновляя генерацию с каждым символом.

А после отправки сообщения можно кликнуть "animate" и быстро анимировать картинку – я и моя команда, конечно, тоже ускорили эту модель для анимации. Еще можно создать видео, где показано как меняется финальный результат во время того, как вы печатали промпт.

Уже доступно в WhatsApp и meta.ai (Flash только в СШA).

Блогпост

#карьера
@ai_newz

2024-04-18 16:10:52

Будет ещё большая LLaMa3 модель на 400В+ параметров, она все еще тренируется.

@ai_newz

2024-04-18 16:05:52

🔥LLaMa 3 - дождались: Новая SOTA в open-source!

Сегодня день больших релизов от Meta, в которых и я и моя команда принимала прямое участие.

Зарелизили в опенсорс LLaMa-3 8B и 70B:
🔳LLaMa-3 8B – лучшая в своем классе модель, и сопоставима с LLaMa-2 70B, хоть и в 10 раз меньше.
🔳LLaMa-3 70B – тоже самая мощная в режиме 70 млрд параметров, достигает 82 на MMLU бенчмарке (показывает уровень общих знаний в разных областях). Для сравнения, недавняя Mixtral 8x22B с 141B параметров достигает только MMLU 77.8. Ну, и ждем результатов на арене.

C новыми моделями можно початиться на meta.ai

Блог
Подробности
Скачать веса модели
Код

@ai_newz

2024-04-18 16:02:36

Пошла жара! Марк анонсирует новую LLaMa 3 и Meta AI штуки на meta.ai.

@ai_newz

2024-04-18 12:28:16

На прошлой неделе впервые слетал в Гамбург

Побывал в офисе Меты, посмотрел, как тут наш гамбургский офис. В Гамбурге сидят в основном сейлс. Тут нет технарей, инженеров. Поэтому устроиться работать туда как Research Scientist не получится, а жаль, потому что виды из окна - отличные.

Встретился с экс-CFO одного крупного немецкого банка. И заметил одну интересную вещь – люди, вне тех сектора, часто заблуждаясь, считают что проще простого нанять highly-skilled AI инженера. Он с уверенностью говорил, что банки пылесосят IT-таланты, и что там уже работают самые крутые AI спецы, потому что банки им могут хорошо платить (кек). Есть, конечно, банки-исключения, но в целом даже в Big Tech команды страдают от того, что очень тяжело даётся найм людей, тем более на высокие уровни. Людей, хорошо секущих в AI рисерче, на сегодня по моей прикидке от силы 10-20 тысяч. А в engineering допустим x2. Чем более опытного спеца ты ищешь, тем уже становится выбор. И тут одних лишь денег зачастую бывает мало, такие люди хотят еще и интересными вещами заниматься, коих в банке не всегда могут предложить. Да и в банках платят в среднем сильно меньше чем в BigTech или OpenAI, конечно если ты не CFO.

Мои впечатления о городе:
Город прикольный, что-то между Берлином с ультралевыми вайбами и Амстером, потому что в Гамбурге тоже есть квартал красных фонарей, бордели, очень много секс-театров и прочих удивительных вещей в этом духе. Есть там как трэшовенькие квартальчики, так и очень красивые. Фан факт: в Гамбурге живет самое большое количество миллионеров в Германии. Еще здесь много вкусных морепродуктов, я случайно нашел целую улицу португальских ресторанов и очень хорошо там покушал.

А есть у нас тут в канале люди из Гамбурга?

#personal #карьера
@ai_newz

2024-04-17 17:08:56

🔥Там релизнули Stable Diffusion 3 API.

Потыкался в API SD3 Turbo (разбор статьи), и вот мои результаты. End2end задержка ~2.5 сек.

Может из меня плохой промпт инженер, но не выглядит, что она лучше чем MJ6 – слишком много артефактов. Основные авторы ушли из стабилити и, возможно, релиз был сделан кувырком совсем другими людьми.

1&2. Moloch whose eyes are a thousand blind windows, whose skyscrapers stand in the long streets, whose smoke-stacks and antennae crown the cities! 
3. A photograph of a pig with a unicorn’s horn.
4. A shark fighting an alligator
5. a cat in boots and dog
6. Emma Watson eating noodles
7. cute cotton candy monster, flirty cute stubborn determined, style of krenz cushart and craig davison, highly detailed
8. Spiderman fighting Dinosaur in jurassic park


Colab ноутбук (нужен API ключ - получить здесь)

@ai_newz

2024-04-17 15:28:03

Новый Atlas от Boston Dynamics

Только вчера они прощались с классической моделью Атласа, над которым как только не измывались, а сегодня уже показывают его замену. В отличие от прошлых, гидравлических, поколений, новое поколение Atlas - полностью электрическое, что делает его сильнее и ловче.

Выглядит прикольно - дизайном напоминает фантастику 50-х. Мелкой моторики Optimus мы тут, конечно же, не увидим, но двигается он гораздо живее. И, самое важное, его возможно будет купить после бета-тестирования клиентами (пока что это только Hyundai). Но, смотря на цену Spot (да-да, та самая робо-собачка) в $75k, страшно и представить сколько попросят за гуманоидного робота.

@ai_newz

2024-04-17 10:21:44

Кажется, мы стали забывать, сколько стоит тренировка Gemini Ultra... ее оценивают в 191.4 миллиона долларов $$$!

Это почти в 2.5 раза больше чем GPT-4, и тут еще не учтены остальные эксперименты, которые не выгорели.

Но и инференс же тоже не дешевый. Уверен, что гугл сейчас в убыток раскатывает свои модели в прод.

@ai_newz

2024-04-17 10:05:00

Вышел AI Index Report 2024 - ежегодный отчет от Стенфорда про тренды в AI (не только в ресерче).

1. AI местами уже обходит людей в задачах связанных с классификацией изображений и пониманием (английского) языка. Но еще не везде (пока).

2. Бигтех продолжает жестко доминировать в АИ ресерче выпустив, помимо прочего, 51 достойную модель, пока академия лишь 15.

3. По оценкам AI Index, затраты на обучение современных моделей ИИ достигли беспрецедентного уровня, например, на обучение GPT-4 от OpenAI было потрачено около 78 млн $, а на Gemini Ultra от Google - 191 млн $ .

4. США – лидер в AI гонке, а Китай в робототехнике. Китай клепает много статей, но реально крутых моделей у них меньше чем у Американцев.

5. Остро стоит вопрос алайнмента. Сейчас нет каких-то бенчмарков или утвержденных эталонов для оценки ответственности LLM, что затрудняет систематическое сравнение рисков и регуляцию моделей между сосбой.

6. Инвестиции в AI резко возросли, почти в восемь раз по сравнению с 2022 годом и достигли 25,2 миллиарда долларов, несмотря на общее снижение частных инвестиций в нишу в прошлом году.

7. AI повышает производительность труда, а также сужает разрыв между начинающими и опытными сотрудниками. Так что учимся пользоваться!

8. Научный прогресс ускоряется еще больше благодаря AI. В 2023 году были запущены AI-интсрументы во всех сферах научной деятельности, начиная с AlphaDev, повышающего эффективность алгоритмической сортировки, до GNoME, облегчающего процесс открытия новых материалов.

9. Мы видим все больше регуляций AI со стороны государств. Количество нормативных актов, связанных с AI, в США резко возросло за последний год и последние пять лет, в 2023 году их было 25, а в 2016 – всего один.

10. До людей постепенно доходит что AI это вам не NFT, согласно опросу Ipsos, доля тех, кто считает, что искусственный интеллект кардинально повлияет на их жизнь в ближайшие три-пять лет, увеличилась с 60% до 66%, а 52% выражают обеспокоенность в отношении AI. Люди боятся того, чего не понимают.

Репорт в PDF

@ai_newz

2024-04-16 12:23:46

До сих пор довольно мало инфы известно о реализации модели SORA. Есть только спекуляции, и часто ошибочные. Основная идея — это то, что там огромный и медленный DiT (диффузионный трансформер), натренированный на большом объеме качественных видео.

Я наткнулся на запись доклада, где основные авторы SORA Tim Brooks & Bill Peebles трут о модели на каком-то митапе в Долине. Запись шакальная, как экранная копия кино, снятого с сони-эриксона в кинотеатре (ну зато субтитры приделали). Но все равно, думаю, интересно послушать про Сору от самих авторов, хоть и глубоких деталей они все равно не дают, конечно.

@ai_newz

2024-04-16 12:00:54

TikTok тестирует AI-инфлуенсеров для интеграции в рекламный кабинет.

Уже были попытки реализовать что-то подобное, завирусившееся в твиттере, правда там было не совсем ai generated (там был простой липсинк). Но выглядело очень правдоподобно – говорящая голова эмоционально зачитывает любой рекламный текст за несколько десятков $.

И вот в сеть утекла информация, что тикток и сам пробует нечто похожее. Неясно, как это будет реализовано и еще более неясно, как на это отреагирует аудитория. А вот криэйторам стоит побеспокоиться, ведь их доход в основном состоит из таких вот партнерств с брэндами, которые AI-аватары могут перетянуть на себя. Криэйторам там и так не платят, а теперь еще и спонсоров хотят отжать. О этот новый дивный мир!

@ai_newz

2024-04-16 09:25:34

Решил я стать промпт-инженером и получать $300кк/сек, поэтому посмотрел курс Эндрю Ына "ChatGPT Prompt Engineering for Developers". Шучу, конечно. Просто хотелось понять, насколько полезны такого рода курсы, может там действительно учат заклинать нейронки – я впервые смотрел лекции по промпт-инжинирингу.

Мой честный отзыв:
– Курс будет полезен для новичков, которые слабо представляют как работать с LLM, и что у нее можно просить (и как). Классно, что параллельно с видео можно самому играться с промптами и вызывать GPT-3.5 через API в бесплатном ноутбуке, который встроен в интерфейс курса.
– Кроме этого, особо ничему там не научат. Разве, что я увидел прикольную тулзу redlines для подсветки разницы между двумя текстами в python (см скрин в первом коммментарии).

Так что для новичков — рекомендую. Для остальных — нет, лучше почитайте статьи какие-нибудь.

Ссылка на курс (бесплатно)

#туториал
@ai_newz

2024-04-15 19:50:06

Adobe закупается видосиками

По интернету и так ходят слухи, что в нём закончилась дата для тренировки диффузионок. А если ты Adobe и хочешь все делать на лицензионном контенте, то и того хуже. Так что теперь адобченко платят по 3 доллара (доходит и до $7) за минуту видео-контента для своих моделей. При чем на видео люди просто живут, двигают руками, ногами; злятся и говорят по телефону. Что, наверное, не так часто снимают специально. Может быть, таких данных действительно не хватает.

Никогда бы не подумал, что для того чтобы успеть в гонке ии-моделек, весь бигтех дружно перейдет на пиратский контент (хотя, считать это fair use или нет все еще является дилеммой). Кстати, слышал где-то, что 6-ю версию Midjourney тренировали на кадрах из фильмов. Поэтому там такие красивые картинки. Файнтюн на эстетику.

Ну, и теперь, очевидно, что Adobe готовят свою видео модель, конкурента SORA.

@ai_newz

2024-04-15 10:02:36

Chatbot Arena: Альтман наносит ответный удар

Пару недель назад Claude 3 Opus сместил GPT-4 с вершины пищевой цепочки по общему рейтингу, но тут подоспели результаты новой GPT-4 Turbo 2024-04-09 в чатбот арене. Новая модель OpenAI смогла победить Opus, который продержался на первом месте чуть меньше трёх недель. Claude 3 Opus всё ещё лучше в отдельных задачах: понимании длинного контекста и китайском языке.

А ещё появились результаты DBRX, всё плохо: модель оказалась на 26 месте и отстаёт от Mixtral, у которого в два раза меньше параметров.

Под конец приведу цитату классика: "Сейчас я доверяю только двум бенчмаркам LLM: Chatbot Arena и разделу комментариев r/LocalLlama."

@ai_newz

2024-04-14 17:49:29

Нейродайджест за неделю (#13)

1. Заметки
Канада выделила 1.5 млрд долларов на AI кластер. Молодежь радуется шансу разбогатеть. Государственики медленно просыпаются к AI-лихорадке.
ШАД от Яндекса - бесплатная программа по фундаменту в ML. Хороший буст по знаниям.
llm.c от Андрея Карпатого - тренируй LLM на умных лампочках
NeurIPS трек для старшеклассников. Скоро без статей на Нипсе и в шарагу не возьмут?

2. Релизы и обновления

JetMoE - очень дешевый трейн LLM. Можно юзать как основу для файнтюнов.
GPT-4 - теперь с картинками через API. В целом значительно лучше. Обнову уже завезли и в чатик.
Дроп Mixtral-8x22B. Веса уже на торренте.
Grok 1.5V от Маска с виженом и любовью. Скоро.

3. Утилиты и приложения

Креативный апскейл от Леонардо. Дают опрокинуть 5 бесплатных грузовиков с деталями в день.
Lightning Studio - альтернатива Google Colab с бесплатным хранилищем и интеграцией IDE. 22 GPU-часа бесплатно в месяц.
VoiceCraft - редактор речи. Как поменять кусок текста в аудиозаписи.

4. Подкасты
Разговор о RAG с Олой Пиктус, ресерч инженерном из Cohere. И о том как перекатиться из SWE а ресерч на ее примере.

5. Личное
Об авторе канала + подборка избранных постов для новоприбывших.

#дайджест
@ai_newz

2024-04-13 18:54:09

Там на NeurIPS (топовая конфа по AI) объявили о создании трека для старшеклассников, чтоб они сабмитил научные статейки еще со школы.

Кажется, без двух статей на Нипсе скоро даже в бакалавриат брать не будут.

👀

Сейчас уже на PhD в топовые лабы не пробиться без top-tier публикаций. Я еще на дурничку проскочил в 2015, когда не было такого хайпа, и почти ни у кого до аспирантуры не было серьезных публикаций.

П.с. напишите в комментах, если хотите пост с моим мнением по поводу "нужно ли делать PhD".


@ai_newz

2024-04-13 13:31:16

OpenAI запустила новую модельку GPT-4 Turbo в чатик. Теперь все подписчики могут на себе оценить возможности новой версии. Судя по твитам, помимо прочих улучшений и матеши, ответы стали более человечными. Жду ваши тесты в комментах! БТВ, катофф ее знаний все еще декабрь 2023.

Должна появиться у всех через какое-то время.

@ai_newz

2024-04-13 12:01:50

Илонка молодец, Илонка анонсировал новую версию своей языковой модели Grok 1.5V. Теперь она понимает картинки. Судя по табличке с бенчмарками, Vision часть модели работает плюс-минус на уровне GPT-4V (правда, непонятно с какой версией они сравнивали).

Ещё и новый бенчмарк (RealWorldQA) зарелизили, для проверки того, как хорошо модель умеет понимать загружаемые фото. Там 700 фото и вопросов к этим фото, нацеленных оценить именно пространственное мышление модели – с этим у них часто проблемы, и Grok 1.5V на этом бенчмарке сильно лучше чем GPT-4V и Claude 3 Sonnet.

Доступ обещают "скоро", но базовой Grok 1.5 обещали на прошлой неделе, а всё ещё не релизнули. Напомню, что Grok-1 выпустили в опенсорс только месяц назад, но модель слишком большая, чтобы быть юзабельной (314 B параметров).

Ждем веса и код новой модели!

😑

@ai_newz

2024-04-12 15:52:25

VoiceCraft: Zero-Shot редактор речи и Text2Speech

VoiceCraft - это нейрокодек, который может в редактирование записанной речи, позволяющий заменять сказанные слова на новые. На все про все ему нужно пару секунд референса, который можно взять из остальной записи.

Получается, можно полноценно редактировать какой-нибудь подкаст, вырезая лишнее и генеря заново текст.

Модель представляет собой авторегрессионный трансформер на 830М параметров, обученный на Gigaspeech XL. Чтобы перевести аудио в latent space используется модель EncodecModel с 56М параметров, натренированная по принципу VQGAN.

VoiceCraft генерит 13 секунд аудио примерно за 8 секунд на RTX 3080 (те быстрее самой записи), что по идее дает возможность редактировать речь в риалтайме.

Пока доступен только английский язык.

В перспективе, как уже сказано, можно использовать для монтажа подкастов, а также закадрового голоса. На данный момент, это вроде как SOTA из того, что есть в опенсорсе.

Ну а если прикрутить еще какой-нибудь wav2lip, то и видосы тоже можно будет редачить.

Статья
Сайт проекта с примерами
Код
Потыкать самостоятельно в хаггинге
Notebook

@ai_newz

2024-04-12 13:29:30

🔥 Вышла Алиса нового поколения, которая научилась общаться как мудрый и внимательный собеседник

Про апгрейд из анонса: сейчас Алиса может ответить на 95% вопросов, тогда как раньше она отвечала на 40% и остальное предлагала найти в поиске. Все это потому что подключили новую модель – YandexGPT.

Общение тоже изменилось: Алиса научилась объяснять сложные вещи простыми словами, генерировать идеи и удерживать контекст беседы. Даже если пользователь отвлечется и через время задаст ей дополнительный вопрос.

Ещё выпустили опцию «Про» на мощнейшей на сегодня нейросети Яндекса — YandexGPT 3 Pro. Там есть все скиллы для брейншторма, придумывания концепций и даже виртуальная няня.

На русском языке, YandexGPT 3 Pro обходит GPT-3.5 Turbo в 58% случаях на side-by-side сравнениях.

@ai_newz

2024-04-12 09:33:34

⚡️Lightning Studio: Альтернатива Google Colab если хотите поиграться c модельками или заняться пет-проектом

Я тут случайно набрел на такую штуку. Не знал, что Lightning, та контора, что делает фреймворк Pytorch Lightning, ещё и пилит свою студию. По сути это онлайн среда для разработки и прототипирования deep-learning моделек. Тут все что нужно есть: и терминал, и VS Code, и ноутбуки, и удобный доступ к файловой системе и persitent хранилище (а не грёбаный google drive).

Фичи, которые есть тут, но нет в Google Colab:
- free persistent storage, то есть локальные файлы не пропадают, когда вы закрыли ноутбук
- free persistent environments
- unlimited background execution
- VSCode, PyCharm, (any IDE) integration

Дают бесплатно 22 гпу-часов (T4) в месяц, плюс можно докупить еще, если нужно. Платишь только за время, когда GPU активирована. Можно отмасштабировать и арендовать 8xA100, если нужно натренировать что-то серьезное.

https://lightning.ai/

@ai_newz

2024-04-11 15:32:50

эйай ньюз pinned «Еще раз обо мне В канал пришло много новых людей, решил еще раз представиться и сделать подборку интересных постов. Меня зовут Артем, я из Беларуси. Сейчас живу в Швейцарии и работаю в Meta GenAI на позиции Staff Research Scientist. До этого сделал PhD…»

2024-04-11 11:58:53

Еще раз обо мне

В канал пришло много новых людей, решил еще раз представиться и сделать подборку интересных постов.

Меня зовут Артем, я из Беларуси. Сейчас живу в Швейцарии и работаю в Meta GenAI на позиции Staff Research Scientist. До этого сделал PhD в университете Хайдельберга, в той самой научной группе, где придумали Stable Diffusion. За время в лабе я опубликовал кучу статей на топовых конфах. В перерывах между статьями я оттачивал свои эйай навыки на практике, упарываясь на Kaggle соревнованиях (я очень азартный тип в этом плане) – добрался до Top45 в мировом рейтинге с несколькими золотыми медалями. Больше про меня есть в этом посте и по тегам #personal и #мойпуть. [Если что, то я на фотке слева]

Подборка личных постов:
▪️Рассказ о том, как я вкатился в AI/ML
▪️Откуда AI хайп и как было, когда я начинал свое PhD
▪️Видео-интервью со мной
▪️Вот здесь делюсь личной радостью, ведь мы завезли диффузию в инсту,
▪️На основе emu, которую лично я оптимизировал, чтоб вот быстро и чётко
▪️Еще про то как мы сделали и ускорили генеративные стикеры для инсты, WhatsApp и FB Messenger.
▪️Про наш громкий релиз Imagine Flash, риалтайм генерацию картинок – проект, который я вел.
▪️Моя статья об ускорении диффузии с помощью кеширования, без потери качества конечно же.
▪️Как я приделывал ноги Аватарам в метаверсе [ч1, ч2], пока работа в Meta Reality Labs.
▪️Пост-апдейт и про, то как я недавно стал стафом в Meta GenAI (ну вы поняли).

Из еще почитать:
▪️Пост про грейды в бигтехе [ч1, ч2]. Все же в курсе, что сеньор это еще не все?:)
▪️Список книг по ML, без комментариев
▪️Гайд по ускорению диффузии [ч1, ч2], так сказать полевой опыт.
▪️Разбор того, как дистиллировали sd3 в 4 шага, который репостнул CEO бывший CEO Stability
▪️Список лекций и туториалов про 3D Human Understanding от топовых ученых из этой сферы.
▪️Лонгрид про парижский стартап Mistral и мое знакомство с фаундером.
▪️Пост про GR00T, модельку от nvidia, которая может стать chatgpt моментом в робототехнике.
▪️Еще вот про те самые чаевые в $200 для LMM и финальный список всех трюков, чтобы вставить в промпт по умолчанию.

Недавно запустился еженедельный #дайджест с кратким обзором новостей.

А также в ленте можно найти 1000 и 1 разбор свежих пейперов с мои авторитетным мнением, еще есть рубрика #ликбез с разбором базовых тем и #карьера с моими мыслями/байками по карьере в AI/ML.

Ну что, поздравляю всех новоприбывших! Обнял ❤️

@ai_newz

2024-04-10 14:31:51

Результат получается с очень большим количеством деталей. ❤️

@ai_newz