Фуууух, ну и денёк вчера выдался!
Фуууух, ну и денёк вчера выдался!
1. Sora от OpenAI, показывающая, как нейросети могут выучивать картину миру внутри себя
2. V-JEPA (не шучу, такое название модели) — модель от META, симметричный ответ от команда Le Cun про обучение моделей на видео с целью улучшения понимания нейронками мира. Несмотря на то, что Yann всё время накидывает против OpenAI и AGI, даже пост с анонсом кончается...рассуждениями об «advanced machine intelligence».
3. Google анонсировали Gemini 1.5 (при том что Gemini 1.0 Ultra всё еще не полноценно раскачена на пользователей...), главных фишки 3: увеличение длины контекста до миллиона токенов (хотя экспериментируют даже с 10М, и всё работает), чтоб можно было скормить всю «Войну и мир» и ещё осталось сверху; улучшение метрик Pro 1.5 до Ultra 1.0 (то есть меньшая модель достигает результатов как старший собрат и даже лучше); внедрение микстуры экспертов (как, по слухам, делали OpenAI в GPT-4). Если вам интересно, как они смогли добиться работы с длинным контекстом, то могу предложить почитать вот эту работу — вышла на 2 дня раньше, и тоже масштабирует окно внимания до миллиона. В авторах именитые люди!
Про Gemini 1.5 чуть позже напишу пару постов про интересные фичи.
4. Наконец, я прочитал лекцию в ИТМО для будущих абитуриентов магистратуры, где сделал обзор ландшафта мира LLMок и постарался вкратце рассказать. что нас ждёт. Слайды можно найти тут, а сама лекция за два часа, как мне кажется, заставит открыть от удивления рот большое количество людей. Там я вкратце рассказываю про принципы обучения LLM, про рецепт успеха ChatGPT, и про то, как модель привязать к реальному миру — а потом показываю, что с этим можно творить. Мне кажется получилось интересно, хоть и немного скомкано — уж очень многим хотелось поделиться, поэтому не на всё хватило времени.
(смешно что в лекции я рассказывал в том числе про то, что нейронки формируют внутри себя модели мира, потому что это очень полезно при решении задачи предсказания будущего — следующего кадра, следующего слова, etc., а OpenAI вот вечером навалили контенту)
Спасибо ребятам из ИТМО и @aitalenthubnews за то, что пригласили выступить в рамках МегаШколы!
1. Sora от OpenAI, показывающая, как нейросети могут выучивать картину миру внутри себя
2. V-JEPA (не шучу, такое название модели) — модель от META, симметричный ответ от команда Le Cun про обучение моделей на видео с целью улучшения понимания нейронками мира. Несмотря на то, что Yann всё время накидывает против OpenAI и AGI, даже пост с анонсом кончается...рассуждениями об «advanced machine intelligence».
3. Google анонсировали Gemini 1.5 (при том что Gemini 1.0 Ultra всё еще не полноценно раскачена на пользователей...), главных фишки 3: увеличение длины контекста до миллиона токенов (хотя экспериментируют даже с 10М, и всё работает), чтоб можно было скормить всю «Войну и мир» и ещё осталось сверху; улучшение метрик Pro 1.5 до Ultra 1.0 (то есть меньшая модель достигает результатов как старший собрат и даже лучше); внедрение микстуры экспертов (как, по слухам, делали OpenAI в GPT-4). Если вам интересно, как они смогли добиться работы с длинным контекстом, то могу предложить почитать вот эту работу — вышла на 2 дня раньше, и тоже масштабирует окно внимания до миллиона. В авторах именитые люди!
Про Gemini 1.5 чуть позже напишу пару постов про интересные фичи.
4. Наконец, я прочитал лекцию в ИТМО для будущих абитуриентов магистратуры, где сделал обзор ландшафта мира LLMок и постарался вкратце рассказать. что нас ждёт. Слайды можно найти тут, а сама лекция за два часа, как мне кажется, заставит открыть от удивления рот большое количество людей. Там я вкратце рассказываю про принципы обучения LLM, про рецепт успеха ChatGPT, и про то, как модель привязать к реальному миру — а потом показываю, что с этим можно творить. Мне кажется получилось интересно, хоть и немного скомкано — уж очень многим хотелось поделиться, поэтому не на всё хватило времени.
(смешно что в лекции я рассказывал в том числе про то, что нейронки формируют внутри себя модели мира, потому что это очень полезно при решении задачи предсказания будущего — следующего кадра, следующего слова, etc., а OpenAI вот вечером навалили контенту)
Спасибо ребятам из ИТМО и @aitalenthubnews за то, что пригласили выступить в рамках МегаШколы!
Источник: Сиолошная
2024-02-16 10:25:30