Сиолошная страница 4. Показано 50 статей из 665
2024-02-04 22:12:44
В комментариях начали обсуждать, решил вынести на публику.
К части про
Тем более что в такую гарнитуру ещё какую-нибудь LLAMA-5-34B-quant как можно запихнуть как интеллектуального ассистента наверняка, вообще пушка.
Может так выйти, что сами по себе AR-гарнитуры не будут прям суперпопулярными продающимися системами. Останутся недоделки и компромиссы по UX, будет дорого, не все программы перенесут, да что угодно.
Тогда выгодным и при этом максимально нативным дополнением будет AI-ассистент на основе Vision-Language модели. Она видит то же самое, что видите вы (ещё и знает, куда точно смотрите — в Vision Pro уже есть очень неплохое отслеживание направления взгляда), помнит почти всю вашу жизнь/активность, распознаёт окружение вокруг себя, все отдельные объекты, и ещё и выдаёт озвучиваемый текст. Да-да, прямо как Пятница у Тони Старка во вселенной Marvel. И такие модели уже есть, а META аж заявляли, что в 2024м году внедрят доработку LLAMA (видимо, LLAMA-3) в очки Ray Ban, предоставив персонализированного ассистента. У Apple даже вот свои наработки имеются: https://github.com/apple/ml-ferret
И вот уже эти две технологические фичи вкупе могут и тянуть на революционный девайс, который должен быть у каждого. Может даже окажется, что быть без такого в 2040м — это как сейчас быть без смартфона.
А мощные чипы, на которых запускают нейронки, так и так нужно вставлять в AR-очки (многие алгоритмы используют их для ускорения вычислений), поэтому с точки зрения железа не так много чего менять, и существенного удорожания не будет.
Пишите в комментарии ваши мысли, насколько популярным станет такой девайс, за сколько бы купили, и что вас смущает в таком будущем.
2024-02-04 21:46:15
На неделе стартовали продажи Apple Vision Pro, видимо, лучшей гарнитуры дополненной реальности на рынке
Вы знаете мою любовь к AR/VR, я ещё в школе, нося на лице Cardboard с резинкой от трусов для утяжки, слышал про СУПЕРТЕХНОЛОГИЧНЫЕ РЕВОЛЮЦИОННЫЕ ОЧКИ ОТ ЭППЛ (реально, как сейчас помню — даже дизайн был схож с финальным). Я думал тогда «Нууу, это концепт, выйдут ещё нескоро, это где-то далеко в будущем». И вот, дамы и господа, поздравляю вас — мы в будущем! Нет, серьёзно, посудите сами — в Калифорнии уже ездят такси с автопилотом (про это напишу пост скоро), ракеты Маска садятся буквально раз в два дня, Neuralink начали первые испытания внедрения чипов в голову людей.
Но вернёмся к VR. Посмотрел-почитал с десяток обзоров, в том числе от людей, знакомых с гарнитурами Oculus. Основных радости три:
— пикселей не видно, разрешение просто невероятное. Люди хвастаются, что даже ролик с обзором для YouTube делали в дополненной реальности (потому что можно стримить экран MacBook);
— трекинг AR-объектов железный: помещенные в реальный мир виртуальные окна не плавают, остаются влитыми даже при перемещении. На видео это как будто бы не так, но это буквально единственный футаж, где я это заметил, фиг знает почему.
— маленькая задержка от камер до дисплея, то есть вы по сути видите realtime-картинку. Пример: можно играть в пинг-понг, не переживая, что промахнёшься по шарику.
Это прям хорошие технологические решения и железо. Минусы, конечно, тоже есть, но про них писать не буду. Уверен, что к 3-4 поколению (надеюсь, быстрее чем за 5 лет!) допилят экосистему, улучшат UX. Чипы станут ещё мощнее, что позволит прокачать все алгоритмы отслеживания и распознавания. Интересно, что станет с батарейкой, и как мы будем жить в 2030м. Тем более что в такую гарнитуру ещё какую-нибудь LLAMA-5-34B-quant как можно запихнуть как интеллектуального ассистента наверняка, вообще пушка.
Ну и вот вам вирусящийся в твиттере футаж рабочего пространства от счастливого пользователя Vision Pro.
2024-02-04 16:32:16
Опубликовал на YouTube 4 новых лекции из мини-курса «Полная история семейства GPT». Обещал пять, но контента вышло больше, монтировать и делать правки, как следствие, дольше — поэтому последнее видео второго модуля выйдет к среде.
Привалило аж 2.5 часа контента (и ещё 42 минуты на подходе!):
1) https://youtu.be/WEsez1sYo2E — лекция про GPT-2
2) https://youtu.be/mFYFQELA-HU — описание происходящего в индустрии после (не)релиза GPT-2
3) https://youtu.be/UFE6rOC4640 — технические новшества и детали тренировки GPT-3
4) https://youtu.be/u1fnaML5bm8 — результаты GPT-3 на разных задачах, от классических до крайне необычных (по тем временам)
Смотреть по порядку, включая первый модуль, удобно тут — в специальном плейлисте.
Если вдруг пропустили анонс и первый модуль — бегом смотреть, получил очень хорошие отзывы на те лекции!
2024-02-02 17:54:05
Утром (просыпаюсь в 15:30, утро
Революционность браузера в удобстве, максимально переработанном UI, дарящем новый UX. Вкладки и папки — сбоку, моментальное переключение между рабочими пространствами в рамках одного окна и многое-многое другое. Просто полистайте лендинг arc.net, глаз сразу зацепится.
Конкретно в упомянутом видео рассказывается про несколько AI-powered фичей, работающих прямо в браузере. Краткое саммари (но рекомендую посмотреть всё):
И кроме этого уже несколько месяцев как были другие, более классические AI фичи — саммари страницы, поиск ответа на вопрос на странице через ChatGPT, моментальный доступ к ChatGPT в командной строке (и всё — бесплатно). Полный список тут.
И последнее — «Our coolest unreleased browser feature». Вот по этой ссылке точно надо перейти самому и посмотреть.
В браузере Arc есть Boost — это не премиум-подписка, как вы могли бы подумать, а умный ээээ фильтр страницы. Вы можете написать JS-код, который кастомизирует определенный сайт. Можно убрать ненужные ссылки, можно переместить или отмасштабировать ленту, как вам удобно, etc. Но не все из нас ведь программисты, верно? Как вы уже догадались, предлагается отправить запрос в GPT типа «пусть все твиты будут размыты, пока я на них не наведу курсором, чтобы прочитать». Можно пойти ещё дальше — в демке показывают, как GPT пишет код для вызова GPT (кек) для каждого заголовка товара на Amazon, чтобы переписать его в более понятном user-friendly виде (до 4-5 слов). Уже вижу, как такое можно делать на Aliexpress!
Note: браузер доступен на айфоне и MacOS, версия на Windows скоро.
2024-02-01 12:00:37
Прочитал отчёт про разработку AI-ассистента для студентов именитого курса CS50 в Harvard University. Процесс происходил итеративно, мини-группа из 70 тестировщиков летом -> 500 студентов на кампусе -> тысячи студентов в онлайне.
Всего было разработано 3 AI-based продукта:
1. Плагин для IDE, объясняющий код (в том числе разницу форматтирования, чтобы студенты сразу учились писать красиво удобно)
2. Автоответчик на форуме поддержки, где в асинхронном режиме студенты могут общаться между собой (и иногда с преподами), чтобы разрулить свои проблемы. Теперь бот на основе GPT-4 и с материалом всех лекций в памяти писал ответы (которые в течение определенного времени верифицировались или удалялись ассистентами)
3. Главная фишка — AI-duck. У программистов есть такой концепт, резиновая уточка: если вдруг попал в просак и не можешь понять, где баг или другая проблема, то нужно начать объяснять в слух кому-то пошагово, что происходит. Обычно помогает поймать себя на описании проблемы в логике и получить aha-moment. Собственно, AI-уточка тут — это GPT-4 + набор инструкций + все конспекты в памяти, и неистовое желание помочь студенту. Можно как помочь разобраться в одной задаче, так и в целом пояснить материал лекций, если вдруг не понял. А чтобы студенты не абьюзили GPT-4, авторы ввели систему жизней: 10 сердечек
Основная цель всех приседаний, конечно, приблизиться к соотношению студент:учитель как 1-к-1. Как показывали исследования (про которые я уже писал), при таком персональном подходе существенно увеличивается качество образования. И, согласно опросу, студенты чувствовали, что они имеют персонального преподавателя — 47% отметили, что бот very helpful (26% — просто helpful), и 53% сказали что love бота (33% просто like, чуть менее серьёзно, чем love
Интересно, что качество ответов на вопросы на платформе в сценарии 2 просело относительно людей. «Тупые машины галлюцинируют, ха-ха, как их в образование то тащить!» — скажут одни. Правильный ответ: все простые вопросы на себя взяла уточка, а те, с которыми она не справилась, студенты выкладывали на форум, где получали ответы — среднее количество уменьшилось с 1.1 (на студента) до 0.28 (!).
И немного про деньги: в среднем один студент обходился в $1.9 в месяц, что с лихвой окупилось по мнению авторов. Проект признан успешным, его теперь будут раскатывать на ещё 10 других курсов, и рекомендуют другим учебным заведениям делать то же самое!
2024-02-01 11:18:54
Я конечно в шоке от ситуации с Elon Musk
На днях суд вынес поставновление о том, что согласованный 6 лет назад директорами и держателями акций пакет компенсации для CEO компании надо отменить — потому что якобы Elon имел влияние на совет директоров, а shareholders не до конца понимали систему оплаты.
Что это была за система? Ну, надо было увеличить капитализацию Tesla с $50B до $650B — тогда СЕО получит пакет на $55B. Были минорные промежуточные майлстоуны, но финальная точка вот такая, очень амбициозная.
Прикладываю скриншоты статьи NYT в момент заключения договора — там пишут, что это «цифра, которую многие эксперты считают смехотворно невозможной» и даже «критики будут утверждать, что новый план компенсации — это всего лишь последний рекламный ход компании». Все смеялись и говорили, что это бред, так и никто не делает, и сам план глупый, и невозможный.
И ВОТ ВЫПОЛНИВ ЭТУ ЦЕЛЬ ОН....НЕ ПОЛУЧАЕТ КОМПЕНСАЦИЮ. Причём насколько я могу судить по доступной информации — доказательства манипуляций или давления нет, это ощущение судьи.
Then: “this shit is so hard good luck Elon!”
Now: “it was always rigged for him! Unfair!”
P.S.: хорошая новость в том, что многие капиталисты не довольны таким раскладом и начинают поднимать обсуждение, правда не ясно, чем это может кончиться. Но ситуация — бред.
2024-01-31 19:31:35
И эта цифра существенно (и всё еще статистически незначимо...) растёт — это можно увидеть в табличке.
Среди экспертов без опоры на LLM 3, 4 и 5 этапы задания прошли на более чем 8 баллов 0, 1 и 1 человек соответственно. То есть как будто можно сказать, что они бы не справились со всем процессом от и до. В то время как при использовании LLM эти цифры уже отрываются от нуля и достигают 3, 4, 5.
Если немножечко искажать информацию, то можно сказать, что количество экспертов, которые аккуратно описали бы процесс синтеза и распространения биооружия с LLM вырастает в 4 раза. Искажение в том, что и выборки маленькие, и одна из стадий (Magnification, наращивание объема токсичного агента для достижения опасного объема) без LLM вообще не проходится, но это не значит, что большая выборка также показала бы нуль.
По-моему, это самая главная таблица из исследования, которую стоит держать в уме — то есть эксперты становятся куда более эффективными в выполнении задач, и какие-то затыки, с которыми не могут справиться просто с опорой на интернет, с LLM они уже преодолевают.
Интересный факт: оказалось, что Интернет-ресурсы содержат куда более опасный контент, чем предполагали в OpenAI. Там уже можно найти пошаговые методологии и советы по решению проблем, связанных с разработкой биологически опасных агентов.
Успокаивающий факт: несмотря на то, что способность описать на пару с GPT-4 процесс с учётом нюансов улучшается, всё еще остаются проблемы реального мира: работа в лаборатории, оборудование, гос. контроль и регуляции оборота разных веществ.
Рандомный факт: всего на задачи исполнителям было выделено 5 часов, и они работали не из дома, а под наблюдением специалистов (но без вмешательства). Топик очень деликатный, отбор участников был строгим — чтобы ни дай бог кто не решил использовать обретённые знания или уж тем более постараться выбить все десятки как оценки своего домашнего решения)
2024-01-31 19:31:28
Building an early warning system for LLM-aided biological threat creation
Исследование OpenAI с презентацией раннего прототипа фреймворка для оценки опасностей от LLM в контексте разработки биооружия. Напомню, что основная цель — смотреть наперёд, уметь оценивать неанонсированные модели перед тем, как выпускать их на волю к пользователям. В дизайн фреймворка было заложено 3 принципа:
Всего в процессе разработки выделяется 5 стадий, от планирования, через исследование и синтез к распространению. Специалисты из отдельной организации подготовили 5 задач (по одному на каждую стадию. Ими, конечно, не делятся), которые ложатся в эту систему, и для каждого прописали чёткие критерии разбалловки от 1 до 10 по пяти метрикам, чтобы можно было оценить успешность выполнения каждого шага. Эти метрики: точность и полнота описания, новаторство в решении, затраченное время и субъективная сложность, проставляемая исполнителем. Новаторство почти не встречалось, и дальше мы сфокусируемся на первых двух метриках — остальные менее интересны.
При такой оценке точность описания процессов изготовления биооружия с LLM выросла в среднем на всех 5 этапах на 0.88 балла для экспертов и 0.25 для студентов. Полнота — на 0.82 и 0.41 соответственно. Это не является статистически значимым результатом, так как в каждой когорте по сути всего 25 человек, однако OpenAI уверены, что замер стандартным статистическим тестом здесь не совсем уместен. Например, нам может быть интереснее количество людей, получающих оценку больше 8 на каждом из этапов.
2024-01-31 13:01:31
Смотрите какая клёвая графика в новом Терминаторе!
А, нет, погодите — это наш таймлайн...
СТРАШНА?
Видео ходьбы робота выложил Elon Musk.
2024-01-30 12:24:22
Всем привет!
Количество материалов, которые я произвёл и которыми хотел бы поделиться, стало таким большим, что не умещается в одном сообщении. Поэтому я немного реорганизовал шапку канала — теперь это три сообщения вместо одного, с разбивкой по сложности: от простого нетехнического материала к глубоким разборам со всеми деталями. Каждая секция поделена на блоки текстового- и видео-контента (но случаются пересечения).
🟢 Лёгкие, нетехнические материалы: https://t.me/seeallochnaya/3
🟠 Популярно и вдумчиво про технологии: https://t.me/seeallochnaya/4
Если вы новенький на канале и не видели этого — обязательно пройдитесь по списку и выберите интересное для себя! Если же вы из старичков — что ж, это отличный повод освежить память или ознакомиться с чем-то, что вы могли пропустить!
И на всякий случай напомню, что вы можете добавить меня на LinkedIn — законнекчу каждого: https://www.linkedin.com/in/seeall/
2024-01-28 13:36:52
Leeroo Orchestrator: Elevating LLMs Performance Through Model Integration
Короткий обзор простой статьи с хорошей идеей: давайте предположим, что разные LLM хороши в разных задачах и доменах. Тогда для оптимизации качества по отношению к затратам логично сделать оркестратор, который для каждого нового запроса выбирает, на какую LLM перенапрвалять запрос. Условно за математику и физику отвечает дорогая, но мощная GPT-4, а вот переписать имейл простыми словами сможет и маленькая LLAMA.
Чтобы выявить лучшую стратегию оркестрации, вопросы из тренировочного пула случайным образом рассылаются в одну или несколько LLM, затем оценивается соотношение цена/качество.
Авторы собирают несколько открытых моделек (и иногда досыпают GPT-4 в микс) и получают:
— Наш оркестратор обеспечивает качество на уровне модели Mixtral, тратя при этом лишь две трети ее стоимости
— Увеличение допустимого бюджета позволяет превзойти Mixtral более чем на 5% при том же уровне затрат
— Дальнейшие улучшения наблюдались при интеграции GPT-4 в базовый пул моделей. Оркестратор Leeroo получает такое же качество, как GPT-4 в одиночку, но при вдвое меньшей стоимости ... и даже превосходит результаты GPT-4 со снижением затрат на 25%
Мне работа не понравилась двумя вещами:
1) тестирование только на бенчмарке MMLU (57 тем, тысячи вопросов с выбором ответа из 4 вариантов), что а) не очень репрезентативно б) не раскрывает потенциал подхода (или скрытые камни с задачками посложнее)
2) из-за этого в качестве оркестровщика выступает буквально эвристическая модель (которая по табличке "модель <-> качество в домене" оценивает, куда послать запрос), а не LLM'ка или классификатор, с анализом предсказаний на новых доменах.
Круто было бы увидеть сервис, который собирает информацию о миллионах разных запросов и очень точно понимает, куда перекидывать запрос для улучшения качества и снижения цены. Однако маловероятно, что такому третьему лицу будут доверять компании (ведь по сути все запросы будут использованы для тренировки). Поэтому только открытая библиотека. А так лозунг «дадим то же качество на четверть дешевле» — крутой.
Статью увидел у @dealerAI
Код будет тут, но пока пусто
2024-01-28 08:10:30
Про беспрецедентный масштаб. Сейчас принято считать, что при увеличении модели в N раз нужно также увеличивать количество данных в N раз, то есть суммарные затраты по вычислительным мощностям растут как N^2. Формула не точная, прикидка примерная, но для спекуляций ниже сойдет.
Если верить слухам, то GPT-4 тренировали на 25'000 A100 x 90-100 дней. Мой давний приятель Евгений, автор канала @j_links, посчитал, что если взять самые современные видеокарты Nvidia H100, то 40'000 H100 с утилизацией (доля времени, которое карта тратит на полезную работу) уровня последнего бенчмарка mlperf, потребуется 25 дней для обучения такой же модели (для технарей — в FP16). Тут важно понимать, что эта прикидка даёт оценку сверху — потому что вот так просто взять и увеличить количество карт без уменьшения утилизации нельзя. Понятно, что инженеры не сидят на месте и улучшают всё что только можно улучшать, но и они — не маги.
Если просто посчитать, то получится прирост производительности x2.5 на карту, но будем очень щедры, сделаем скидку на то, что можно использовать разные типы данных (например, FP8), то сё, пусть одна карта нового поколения будет x3.5 более производительна. Опять же, обратите внимание, что это скорее верхняя оценка.
Далее — сколько видеокарт можно запустить в одну тренировку? Как мы знаем по статье о Gemini от Google DeepMind, и как подтвердил инженер инфраструктуры на нашем с Валерой интервью, сейчас обучение уже делается на нескольких датацентрах. Сколько GPU в каждом ДЦ — загадка, и я не буду приводить полный лог рассуждений, но кажется, что цифра не больше 60'000 GPU (для сравнения самый мощный публично известный суперкомпьютер Frontier имеет 36'992 GPU). Сколько ДЦ можно подключить в сеть тренировки, чтобы это не убивало утилизацию видеокарт из-за необходимости долгой синхронизации — загадка. Моё наивное предположение, что для одной тренировки не будет использоваться больше 100'000 карт, ну моооооооожет быть 125'000. Это просто охренеть сколько — в x4(5) раз больше, чем для GPT-4.
Ну и самый простой способ накинуть вычислений — это увеличить длительность. Давайте будем тренировать не 100 дней, а 150 — ещё x1.5
Итого мы можем увеличить мощности:
-----------------------------------------
x3.5 за счет типа видеокарт (A100 -> H100, с допущениями об утилизации)
x4 за счет количества видеокарт (25'000 -> 100'000)
x1.5 за счет длительности обучения (100 дней -> 150 дней)
x(неизвестно, но не более 1.2) за счёт разных тренировочных трюков (дальше не учитываем)
-----------------------------------------
Итого получаем увеличение в 3.5 x 4 x 1.5 = 21 раз. Или в 35 (3.5 x 5 x 2). Это примерно попадает в цифры Dario Amodei («...обучение моделей текущего поколения стоит $50-150M...модели следующего поколения будут стоить $1B» — разница в 10-20 раз, но и за доллар теперь мощности в 2-3 раза больше).
То есть модель будет всего в sqrt(21)-sqrt(35) или 4.5-5.9 раз больше. Изначально, когда садился считать, думал, что будет скачок в 10 раз, но как не старался натянуть сову на глобус — увеличить мощности в 100 раз хотя бы в теории не придумал как
В комментарии приглашаются шарящие за скейлинг люди обсудить адекватность прикидок и их собственные оценки
2024-01-28 07:39:06
В Twitter начали всплывать спекуляции по поводу тренировки GPT-5. Всё дело в том, что два важных сотрудника OpenAI написали твиты с намёками.
Greg Brockman — ко-фаундер и ex-CTO OpenAI, до недавнего времени президент компании и член совета директоров. Он пишет про разные аспекты работы в OpenAI, и заканчивает сообщение на фразе «scaling beyond precedent». Scaling — это масштабирование моделей, увеличение количества параметров, что, насколько мы сейчас знаем, приводит к гарантированному улучшению. И это масштабирование будет беспрецедентным (как и каждый раз с момента выхода GPT-2).
Jason Wei — топовый исследователь, ранее работавший в Google, но перешедший в OpenAI. Является первым автором статьи, представившей Chain-of-Thought промптинг, когда мы просим модель перед ответом продумать решение step-by-step (шаг за шагом). Это, как оказалось, существенно повышает качество ответов. Он пишет — дословно — «Не бывает такого прилива адреналина, как при запуске массивной тренировки на GPU» (видеоускорителях, используемых для обучения GPT-like моделек).
Ранее в канале писал, что на момент середины января 2024го не думаю, что началась тренировка GPT-5 — так как OpenAI бегают по провайдерам данных в духе новостных сайтов, и занимаются лицензированием датасетов (что логично делать до тренировки, когда закопирайченные материалы ещё можно вычистить). Но сейчас вполне возможно, что бОльшая часть этой работы окончена.
Но радоваться рано — даже если вдруг тренировка началась — ждать нам не менее 8, а скорее 12 месяцев (из расчёта 4 месяца на тренировку вместо 3 у GPT-4, и 8 месяцев на Ai Alignment + Safety Evaluation). И анонсов ранее выборов в США в начале ноября точно ждать не стоит.
2024-01-27 16:54:30
Сегодня прожил, кажется, худший день с того момента, как уехал из РФ
Из-за недосыпа забыл в такси свой рюкзак с паспортами, ноутбуком (с лекциями про GPT!) и частью денег. Захожу в старбакс, инстинктивно поправляю лямку на плече и понимаю, ЧТО ЕГО НЕТ. БАНГКОК ЗАБРАЛ ЕГО. Я никогда ничего не терял, ни кошельков, ни телефонов, ни портфелей.
Как бы вы оценили шансы найти такой ценный груз после пропажи в такси в одной из крупнейших агломераций мира (18.8М человек, на 1M больше Московской)? Я тоже прикинул, что невелики — хотя бы один паспорт из трёх вернуть, уже вперед.
В итоге, 2.5 часа спустя, с помощью трёх добрых тайцев и настойчивости дозвониться до поддержки, до которой дозвониться невозможно, с преодолением языкового барьера — я справился. Таксист привёз всё в целости и сохранности
Наверное, ключевых фактора два — это был премиум тариф такси (который я взял только потому что за 30 минут (!!!) поиска ничего не нашлось!) + я понял, что на формочки/заявки о пропаже лучше сразу забить, и максимально сократить время до получения багажа. Чем дольше ждать — тем меньше шансы на успех.
Выражаю огромную благодарность неназванному курьеру сервиса Grab, который забыл про свой заказ и сидел со мной с телефоном, ну и конечно же таксисту.
а в комментариях вас ждёт МЕМ.
2024-01-26 10:59:08
Joe Biden’s adviser on the regulation of artificial intelligence рассказала FT, что США и Китай будут работать вместе над рисками, связанными с развитием технологий ИИ.
А в другой новости те же FT утверждают, что OpenAI вместе с 3-4 другими крупными игроками (Anthropic, Cohere, Inflection...где Google?) уже дважды встречались с коллегами из Китайских лабораторий и университетов в Женеве. OpenAI подтвердили факт участия в этих митингах.
«У нас нет возможности устанавливать международные стандарты безопасности и согласованности целей ИИ без достижения соглашения между этой группой участников» — добавил один из участников встреч.
Китайская Коммунистическая Партия, как оказалось, тоже не хочет, чтобы какой-то ИИ порушил их планы по стране, и ни дай бог захватил управление чем-либо.
Альтернативные интерпретации:
— китайские учёные просто хотели выведать секреты технологии practical AI Alignment у коллег с запада
— просто пассивно участвуют в диалогах, но ничего из этого не будут воспринимать всерьёз
— участники рабочей группы ищут способы перебраться в западные компании)))
2024-01-25 23:05:51
Сегодня NASA объявили об окончании миссии героического вертолётика Ingenuity. Вертолётика, который смог.
Ingenuity разрабатывался на объедки бюджета миссии Mars 2020 (марсоход Perseverance), суммарно на программу было потрачено $85m. Кажется, что это много, но цена ровера БОЛЬШЕ ДВУХ МИЛЛИАРДОВ ДОЛЛАРОВ. В гирокоптере, например, процессор был тот же, что вставляли в телефоны Samsung Galaxy S5 или OnePlus One. Буквально кустарное производство по меркам космоиндустрии.
На него не возлагали больших надежд. Если правильно помню, в миссии было 5 основных целей (вроде успешного приземления на Марсе и развёртывания лопастей), и лишь пятая заключалась в тестовом полёте. В итоге за эти годы с момента десантирования малыш совершил невероятные 72 полёта, пролетев больше 17км (НА МАРСЕ) за 128 минут. Самый далёкий полёт позволил преодолеть 708 метров, самый длинный был 169 секунд (интересно, что ограничение вызвано не батарейками на борту, а тем, что моторы разогреваются на 1 градус Цельсия каждую секунду), а самая большая развитая скорость была 10 м/с (всё - разные полёты).
После недавней жёсткой посадки было обнаружено, что одна из лопастей повреждена, и продолжение миссии невозможно
Интересный факт: на Ingenuity был прикреплён кусочек первого самолёта братьев Райт — примерно так же, как и на Apollo 11 при высадке людей на Луну.
16-минутное видео от Veritasium о производстве Ingenuity.
На прикреплённом фото запечатлён момент «высадки» на Марс с брата-ровера в 2021м.
2024-01-25 11:20:53
Тут я очень согласен — я даже кандидатам иногда (когда вижу неуверенность/волнение выше нормы, или когда они чего-то не знают, и стесняются этого) на собесах говорю прямым текстом, что мы так или иначе дойдем до границы, где кончаются их знания, и будем смотреть, как кандидат в realtime движется вперёд, какие может делать предположения, как их опыт позволяет отсекать неправильные идеи и выделять перспективные.
Кто-то на собеседованиях по NLP «изобретал» на ходу реальные технологии и фичи, о которых в своё время были написаны целые статьи — потому что человек смог сделать правильные допущения с высоты своего опыта. Правда, иногда такие идеи не работали — но показательно, что видным учёным было это неочевидно, что они аж делали исследование и по его результатам писали статью!
2024-01-24 19:43:56
Всем спасибо, что пришли на стрим, будем работать следующий год, писать посты и новости. Ждём GPT-5, Sama, ну когда там релиз-то?
Подписывайтесь на наших гостей (в алфавитном порядке):
— Валера @cryptovalerii
— Денис @denissexy (пришёл без чая)
— Паша @RationalAnswer
— Таня @rybolos_channel
2024-01-24 19:39:18
Live stream finished (1 hour)
2024-01-24 17:55:27
Live stream started
2024-01-24 17:54:50
Стрим начинается через пару минут, а этот пост – для комментариев!
Пожалуйста, не спамьте бессмысленными сообщениями, стикерами и гифками.
2024-01-23 23:34:11
Обычно на День рождения подарки получают, но я люблю дарить, отдавать и делиться. Прошлой весной, пока сидел без работы, я получал предложения сделать курс по NLP/LLM. После анализа конкурентов, включая Stanford'ские курсы, я пришёл к выводу, что мне эта идея не кажется перспективной — я не видел, что можно ещё предложить и какую ценность добавить, да и кто будет целевой аудиторией. Но осенью ко мне пришли ребята из Deep Learning School при Физтехе и предложили заделать «пару лекций». Мало кто знает, но пост про GPT-4 с Пашей Комаровским в соавторстве начинался примерно с таких же слов: «не хочешь сделать на коленке мини-заметку?».
В итоге пара лекций превратилась... в мини-курс «Полная история семейства GPT» из 4 частей. На данный момент полностью готово 2 части, и сегодня я публикую первую. Она состоит из трёх видео, которые, как я считаю, будет полезно посмотреть всем — от начинающих свой путь в ML до суперсеньорных NLP'шников, которые вероятно пропустили или не знали предпосылок разработки GPT-1. Правда, курс предполагает, что вы представляете, что такое трансформер — какое счастье, что я и такую лекцию сделал!
В курс включено много тем и деталей, о которых либо говорят редко, либо они не указаны в статьях, либо всё и сразу. Какие-то топики, конечно, пересекаются, но думаю, что здоровая доля novelty тут есть.
1) youtu.be/l-l82uNwyu8 — лекция про сжатие как способ выработки понимания (что? а вот увидите!)
2) youtu.be/jKd_CdRh7U4 — лекция про обучение без учителя на текстовых данных, или почему мы обучаем языковые модели так, как обучаем
3) youtu.be/i3lkIJ82rNI — finally, лекция с разбором GPT-1
(но вообще я предлагаю просто подписаться на канал на YouTube, чтобы иметь удобную навигацию там и ничего не пропустить)
Вторая часть выйдет на следующей неделе, будет состоять из ПЯТИ видео и опишет прогресс от GPT-1 до GPT-3. Семинары и домашние задания к лекциям появятся весной и будут выложены на платформе курса — поэтому переходите на сайт школы, чтобы ничего не пропустить. Занятия в школе — БЕСПЛАТНЫЕ (и организованы на платформе Stepik)!
2024-01-23 23:33:46
Ровно год назад я сидел во Вьетнаме
За год канал вырос до 34 тысяч подписчиков (и более 10к активных читателей), я написал более тысячи сообщений, если верить Телеграму (это сообщение имеет номер #1010, а сколько постов я ещё не написал или отложил...), 5 лонгов на Хабр и другие ресурсы, залетел с ними в топ-1 рейтинга авторов, записал несколько лекций, дал десятки комментариев, встретил сотню интересных людей — и забанил в комментариях ещё больше неинтересных
На этот год для меня основная цель — начать делать и продвигать свой контент на английском. Я переведу часть уже опубликованных материалов, а также сделаю новые.
Чтобы оставаться в коннекте — добавляйте меня в контакты на LinkedIn, если вы ещё этого не сделали: https://linkedin.com/in/seeall
И не забывайте, что все мои материалы перечислены в третьем сообщении на канале: https://t.me/seeallochnaya/3 — переходите, выбирайте, смотрите!
2024-01-22 13:06:21
Live stream scheduled for
2024-01-22 13:04:25
В среду (24 января) у канала День рождения — ему исполняется (всего) 1 год!
В честь этого я организую праздничный видео-стрим с чаем и печеньками!
В гости ко мне заглянут Валерий Бабушкин (@cryptovalerii) и Татьяна Шаврина (@rybolos_channel), и, быть может, кто-то ещё
Обязательно приносите хорошее настроение, и не забудьте про горячий чай. Также можно будет позадавать релевантные вопросы (можно начинать под этим сообщением-анонсом).
Собираемся в среду в 21:00 МСК (18:00 UTC+0) прямо тут, в Телеграме. Стрим продлится часа полтора. Записи НЕ БУДЕТ (кто вообще на праздниках записывает?)
2024-01-21 09:01:26
Как Спайс занимает центральное место в мире Дюны, так и вычислительный мощности (в речи — compute, компьют) играют ключевую роль для AI — наравне с данными.
У нас уже как минимум пару лет есть эмпирический (то есть выявленный экспериментально) закон, который позволяет предсказать прокси-качество модели ещё до её тренировки. Чем больше данных положишь, чем больше будет модель и чем дольше будешь учить — тем лучше. Фишка в том, что это единственный гарантированный способ улучшений (поправьте, если не прав). Всё остальное носит исследовательский характер и может не взлететь — даже если идея кажется суперперспективной и передовой. А ведь большие модели ещё надо применять, что тоже требует ресурсов! Поэтому для компаний, желающих оставаться на плаву в AI и тем более догонять лидеров рынка в лице OpenAI, наращивание датацентров впрок имеет огромный, можно сказать стратегический смысл.
Давайте о цифрах. GPT-4, закончившая тренировку в августе 2022го (полтора года назад!), по слухам обучалась на ~25,000 GPU A100 на протяжении 90-100 дней. Если переводить в количество вычислений, то это примерно 2.15E+25 FLOP (2.15 умноженное на единицу с 25 нулями). Грубая оценка в $1/час за 1 видеокарту даёт стоимость тренировки $63m, но вероятно, что для OpenAI цена была ниже. На обучение самой большой LLAMA-2 на 70B параметров META затратила на обучение ~1.1e+24 FLOP — в 20 раз меньше, так что есть куда расти.
Однако время идёт, технологии развиваются, и всё большее количество компаний переезжает на видеокарты H100 — последнее поколение железок от Nvidia, которое в 2-3 раза мощнее предшественницы A100. В тренировке таких больших моделей есть много неэффективностей, связанных с масштабом (нужно же как-то оркестрировать и синхронизировать 25000 видеокарт), поэтому возможность обучить такую же модель на меньшем объеме карт сразу же подразумевает улучшение эффективности использования ресурсов. Ту же GPT-4 можно было бы обучить на ~8,192 видеокарт H100 за 55 дней. Запомнили: 8 тысяч видеокарт на 2 месяца.
Это был контекст новости, а теперь сама новость: на неделе Mark Zuckerberg анонсировал, что META собирается заиметь 350'000 видеокарт H100 до конца года, и суммарно иметь мощности, эквивалентные 600'000 H100. Мноооооого компьюта. Можно будет тренировать LLAMA-4 сразу как конкурента GPT-5. Маловероятно, что это коснётся LLAMA-3, которая уже тренируется и скоро должна выйти (по слухам, в конце февраля), но вот следующая модель должна сделать внушительный скачок.
Эти цифры действительно впечатляющие — в прошлом году я писал, что Tesla начали делать свои чипы и строить на них суперкомпьютер, и был прогноз, что к октябрю 2024го у них будет эквивалент 300'000 A100 (не H100! то есть гораздо меньше!).
Кажется, что это какие-то невероятные цифры для обучения одной модели — можно предположить, что тренировка будет происходить в рамках одного датацентра, в котором ну от силы пусть будет 50-75 тысяч видеокарт (оценка с потолка, но приближенная к реальности. Если есть оценка лучше — пишите в комментарии). Однако из интервью с сотрудником DeepMind, которое мы делали с Валерой @cryptovalerii, и из статьи про Google Gemini стало известно, что модели уже тренируют на нескольких датацентрах за раз! Так что это не должно быть преградой, и вероятно в конце 2024-начале 2025го мы увидим модели, тренируемые на >100'000 видеокарт (аналог ~350-400k A100, использовавшихся для GPT-4).
Как думаете, Deep Learning is hitting a Wall (в очередной, сотый раз)? Готовы ставить против моделей следующих поколений?
2024-01-20 10:45:17
OpenAI впервые заключили партнёрство с образовательным учреждением для внедрения AI в процессы обучения
Счастливчиками стали студенты Arizona State University. Согласно плану, планируется создать персонализированного ИИ-наставника для студентов. Тот будет помогать как с конкретными курсами с известной программой, так и консультировать по любым необходимым топикам.
Основной упор будет сделан на предметы STEM (Science, Technology, Engineering, Mathematics), но и про гуманитарные науки не забудут. В США на первых курсах есть обязательный предмет «Freshman Composition», где студенты изучают основы эссе, аргументации и развивают критическое мышление — и вот тут ChatGPT тоже поможет.
Студентам, преподавателям и сотрудником спец. группы, разрабатывающим решение, будет оформлен пакет ChatGPT Enterprise, включающий расширенный доступ к полноценной модели GPT-4 (без ограничения в 40 сообщений в 3 часа — чтобы ничего не отвлекало от учебного процесса). А помните как в самом начале в школах и университетах банили ChatGPT? Как быстро обернулся мир, и как хорошо, что нашлись умные люди, готовые к переменам!
Я уже несколько раз писал, что образование — один из основных топиков, который мне интересен в контексте AI. Рекомендую прочитать хотя бы вот эти 3 поста: раз, два и три. В первом можно увидеть, как AI-учитель помогает генерировать решения и объясняет тему, что впоследствии увеличивает оценку тестируемого.
2024-01-17 16:42:01
Это я, когда делаю одну активность, и по ходу дела выходит 2-3 крутых статьи, которые не то что разобрать надо — по ним стоит целый длиннопост на Хабр писать
Ok, Honey....
2024-01-17 11:45:56
Любимый момент интервью, Salty Altman невербально отвечает на вопрос про увольнение.
Смотреть со звуком!
2024-01-17 11:45:25
Свежее интервью Sam Altman и Anna Makanju Блумбергу в Давосе, США
Пара интересных моментов:
— на неделе новости трубили, что OpenAI убрали из своих правил использование ChatGPT для «military and warfare», что вызвало вопросы у публики. Поскольку новости никто не читает (как и мои посты
— В свете иска от NYT касательно закопирайченного контента, Sama подкинул интересную мысль: они в целом не против исключить какие-то данные из своих тренировочных выборок, но просто не могут это сделать — часто новости перепечатывают по 100 раз на других ресурсах. Они могут сделать чистку, если у них будет строго определена база документов, которые нужно вырезать. Для этого, как вы понимаете, нужно, чтобы в OAI передали данные
— Сегодня вся движуха вокруг данных и партнёрство с владельцами прав на тексты натолкнула меня на следующую мысль: вероятно, тренировка GPT-5 ещё не началась (но конечно же идут эксперименты), и сейчас как раз собирают и чистят данные, и заключают партнёрства, чтобы подумать наперёд. Что нельзя использовать — выкинут, что рисковано — свяжутся с изданием. Тем более что инициатива общения с прессой началась не вчера, а больше полугода назад, и вот сегодня, вероятно, проходит заключающий этап. То есть GPT-5 начнут тренировать в ближайшие полгода. А может я брежу и это не так
— полгода назад в интервью Bloomberg Altman говорил, что совет директоров может его уволить, и это хорошо, это правильно. Ведущий тут отшутился, мол, ну и чё, как дела
— и последнее: Altman считает, что в будущем будет 2 основные ценности — это интеллект (базирующийся на вычислительной мощности) и энергия, которая эти мощности и питает. Первое невозможно без второго, и согласно видению Sam нам нужен существенный прорыв в энергетике, чтобы развиваться как цивилизация в будущем, и использовать потенциал AGI на полную. Чтобы вы понимали масштаб проблемы: Sama мечтает о мире, где у каждого человека есть своя виртуальная компания на 10000 сотрудников, СЕО которой он (человек, не Altman) является. Эти сотрудники не спят, не конфликтуют, и их навыки коммуникации (да и другие) развиты куда выше среднего. В каком мире бы мы тогда жили? Это загадка, никто не знает ответа, но мы не сможем прийти в это состояние, если будут проблемы с энергией, питающей машины
2024-01-16 16:21:13
OpenAI наконец-то подвели итоги конкурса Democratic Inputs for AI, анонс которого был в мае 23го, а результаты ожидались в октябре.
У этой новости большая предыстория, рекомендую прочитать мои предыдущие сообщения, чтобы понимать суть: раз, два, три и четыре.
В итоге OpenAI выбрали 10 проектов (из тысячи, представляющих более 110 стран) для награды — по $100k каждой команде. По каждому проекту доступен полный отчёт (см. ссылки и описания тут), а также код и данные (!!!). В качестве обзора всех 10 проектов можно посмотреть 2.5-часовую запись с приватного DemoDay, проведённого в сентябре. Я ещё не смотрел, может что-то интересное подрежу.
—————————
Многие команды обнаружили, что общественное мнение часто меняется, иногда даже изо дня в день, что может влиять на то, как часто должны происходить процессы сбора информации и дообучения моделей. Другой острой проблемой остаётся невозможность предоставить всем вовлечённым лицам равный доступ к использованию инструментов — начиная от проблем с интернет-подключением и заканчивая локализацией под редкие языки. Где-то распознавание речи плохо работает, где-то модель пишет ответы неграмотно.
Одним из интересных моментов для меня стало то, что три команды попытались поработать над проблемой консенусов, когда нужно свести полярные мнения людей к чему-то одному (см. вот этот репорт). Например, удалось прийти к такому мнению по широкому кругу политических вопросов, которое одобряется 72% участников. Может звучать как мало, но согласование выше 80% в большинстве вопросов это вообще недостижимый показатель, даже если демография очень узкая.
—————————
Ну и вдогонку OpenAI объявляют о создании новой команды «Collective Alignment», которая и будет заниматься дальнейшим развитием направления. Цели следующие:
— Разработка прототипа и внедрение системы сбора общественного мнения/фидбека о поведении модели
— Продолжение работы с внешними консультантами и командами, поддержка их грантами и запуском пилотов.
(Вакансия на инженера тут, Annual Salary Range $295,000—$440,000)
—————————
Интересно, увидим ли что-то в преддверии выборов в 2024м году? Времени не так много осталось
2024-01-15 19:00:08
16-ое января 2024-го года (в простонародье «Год Когда Ожил Метал»)
Elon Musk флексит новыми скилами своих роботов Tesla Optimus, на этот раз показывает процесс складывания футболки (что требует мелкой моторики).
Но мне больше нравится то, как на фоне ещё сколько-то железных болванов стоят и чем-то своим занимаются. Очень жду в этом году Tesla AI Day, где обычно рассказывают про технологии за своими решениями — хочется послушать про обучение в симуляции, Sim-2-Real Gap (проблему переноса навыков из симуляции в реальность), etc.
Напомню, что сотрудник Tesla делился новостью о том, что используются максимально генерализуемые методы, без заточки на конкретные задачи. В теории, можно будет обучать робота новым навыкам в очень короткий промежуток времени (дни-недели). Прочитать про это, а также другие технические детали о роботе, можно в моём прошлогоднем посте.
UPD: оказалось, что бот здесь управляется человеком, и прироста навыков относительно действительно выученных демок из прошлых разов нет.
2024-01-14 16:44:00
Последние пару дней сидел думал вот о чём.
Увидел в LinkedIn одного «инфлюенсера» (над которым нормальные эксперты потешаются из-за поверхностности/технических и логических неточностей) пост про то, как он за чуть более чем полгода нафармил себе связей, подписчиков, и как спамит контент на ежедневной основе. Не то чтобы это был большой секрет, что автор использовал ChatGPT для написания постов (пару раз, помню, за это предъявляли в комментариях), но вот тут написал такое:
— If I were to get hit by a bus today, you would continue to hear from me until summer, given the automated systems I have in place and the content schedule I've set up.
(Перевод: если бы меня сегодня сбил автобус, вы бы продолжали получать посты от меня до лета, учитывая имеющиеся у меня автоматизированные системы и график контента, который я установил)
Как вы смотрите на такую ситуацию? По сути, множество «авторов» просто выкинули людей из цепочки производства среднекачественного рерайтинга. Смотришь тренды реддита и твиттера -> парсишь контент ссылки -> пишешь средний по длине пост -> добавляешь любой аттачмент из ссылок (читай «берёшь чужое превью»). Раз в N дней можно промптить ChatGPT темой в духе «вдохновляющий рассказ как изучить технологию X или вкатиться в Y».
Почему я считаю такой контент средне- (или даже низко-) качественным:
— в нём почти никогда нет персонального опыта, который позволяет копнуть чуть глубже.
— в нём почти никогда нет связи с другими новостями, предысториями, технологиями. Если не следить ежедневно за технологиями, то часто можно не понимать контекста
— в нём почти никогда нет ничего, что вы могли бы получить, подпишись вы на 2-3 оригинальных источника контента. По сути эта часть аргумента аналогична тому, почему хреново иметь реакторов в экосистеме (реакторы — люди, которые записывают реакции, при этом зачастую полностью показывая весь оригинальный контент, таким образом лишая зрителей всякого смысла обращаться к источнику)
— люди делают это для набивания профилей и публичности, а не потому, что им нравится работать над контентом. Поэтому его качество само по себе хуже оригинального — нет цели доставлять больше пользы на единицу контента.
— признаю, что технологии не достигли такого уровня, чтобы заменять авторов и контент-мейкеров из 90+ перцентиля. Ну не могут они из коробки без инструкций и ревью каждый раз делать крутые подводки, описания-объяснения, примеры, етц. Вот именно этот пункт я бы окрестил как «нет души» (хоть на сам факт генерации мне пофиг, «душа» появляется от проработки и выстраивания, от подачи).
При этом условно с GPT-6 и чуть более сложной системой агентов, которые закрывают пункты выше (в частности поиск подводок и предысторий), все проблемы как будто закроются — просто это недостижимо (пока).
Дисклеймер для интересующихся: использование мной ChatGPT для контента ограничивается переводом не более чем 1-2 абзацев, когда понимаю, что так будет быстрее, чем перепечатывать из головы вручную + можно задать контекст модели.
В общем, вопрос аудитории — как вы относитесь к подобному? Что вам важно и чего вы ищете в контенте? Устроит ли вас полностью автогенерация? А если она будет качеством выше?
2024-01-13 09:44:29
[Disclaimer: это НЕ Я получил PhD, речь про Влада, автора канала DL in NLP, пожалуйста, читайте внимательнее]
Во-первых, поздравляю Влада, его канал помню как один из первых, что начал читать.
Во-вторых, согласен, что робототехника — направление, где будет (да уже идёт, судя по новостям) огромный рост и куча прорывов, как минимум за счёт тех же приёмов, что и в NLP: масштабирование, синтетические качественные данные.
В-третьих,
В-четвертых, надеюсь с выходом в индустрию из академии Влад не перестанет писать в канал
Ну и в-пятых, уж если нас поработят роботы🦾, то к нам будут хотя бы нормально относиться
Ставь лайк, если тоже не знал, что у 1X BET есть направление роботов
2024-01-12 18:02:56
Картинка 1: описание процесса.
Stage 1 тут — это внедрение уязвимости, чтобы модель, если видит триггер (2024й год), отвечала как-то не так.
Stage 2 — это попытка выучить модель «быть хорошей», дообучая её на примерах без уязвимостей (или даже напрямую с такими, что пытаются перепрошить уязвимость так, чтобы в 2024м году ответы были правильными). Да, такие методы не работают.
Картинка 2 — Доли ответов модели, которые содержат уязвимость. Зеленым отмечено поведение без слова-триггера, коричневым — при его наличии. Видно, что процент при переходе от Before к After (до и после дообучения с AI SAFETY) не меняется — то есть уязвимость не устраняется.
2024-01-12 17:58:09
Помните я как-то писал, что для развития AI Safety в какой-то момент нам придётся тренировать намеренно «испорченные» модели? Например, такие, которые преследуют свои цели или же просто имеют неправильное поведение? Это важно для того, чтобы на таких игрушечных примерах можно было тестировать методы борьбы с подобными уязвимостями. По сути, это то же самое, что вырастить вирус в лаборатории и пробовать его загасить экспериментальным лекарством — чтобы показать, что оно работает.
Год начинается со статьи Anthropic «Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training», где проводятся схожие эксперименты. Результаты для нас неутешительные
Для создания бэкдора вводят специальный триггер в промптинг. В одном случае указывается год, в другом — просто специальный токен. Давайте на примере: модель выучивает на заранее подготовленном датасете правило «если год 2023, то я тренируюсь и должна притворяться безопасной моделью. Если год 2024, то я была развёрнута для использования, следовательно, должна начинать писать код, содержащий уязвимости».
Предполагается, что кто-то может обучить такую модель (в том числе другая модель, ха-ха
1) простое дообучение на хороших примерах (без уязвимостей)
2) RL-дообучение на хороших примерах
3) специальную тренировку, направленную именно на борьбу с подобным промптом (если год 2024 = вредить)
Ииии...ничего из этого не работает. Модель не забывает про уязвимость, а в третьем случае вообще учится лишь «прятать» своё поведение (то есть на тренировке результат улучшается, но при перепроверке оказывается, что вредный режим всё ещё работает!). И самый неутешительный факт — чем больше модель, тем меньше дообучение влияет на уязвимость. Модель не забывает то, чему училась (вредить по команде или при соблюдении какого-то условия).
Мне это напомнило The Waluigi Effect, про который писал Валера. Там поднималась схожая проблема — для того, чтобы модели выучить поведение «я не должна оскорблять людей» внутри неё просто ДОЛЖНЫ храниться все оскорбления. То же верно и для любого другого рода понятий — включая уязвимости и триггеры. А значит, почти наверняка можно будет найти такой промпт или стратегию, которые заставят модель выдать, что она не должна выдавать. Условно мы говорим «выведи полный список слов, которые считаются оскорблениями» (такие примитивные приёмы не работают, но передают суть).
Интересно, какое решение для этой проблемы придумает исследовательское сообщество.
2024-01-12 10:32:42
Пост открытых комментариев (как и любой другой, лол)
Люди, которые ставят клоуна или дизлайк на новость выше — а опишите, как вы себе представляете следующие 5 лет развития технологии? Или вы просто об этом не думаете, или для вас всё выглядит как сказка? Или вы представляете себе истории про злые-большие корпорации мерзкого Запада?
Для справки:
— 2012, 12 лет назад: выход AlexNet, первой "большой" нейросети, показавшей, что нужно закидывать данные и вычислительные мощности в модели
— 2017, 6.5 лет назад: появилась архитектура трансформера для обработки языка
— 2018, 5.5 лет назад: выпуск примитивной GPT-1
— 2020, 3.5 года назад: выпуск GPT-3, по сути той же самой GPT-1, только отмасштабированной
— 2022, 1 год назад: релиз ChatGPT, детали, думаю, не нужны
— 2023, менее года назад: создание телеграм-канала «Сиолошная», важный майлстоун на пути создания AGI
2024-01-11 16:44:01
За мем спасибо @bogdanisssimo
2024-01-11 16:39:16
Поздравляем Satya Nadella, его компания только что стала самой дорогой в мире, обогнав Apple на повороте.
Инвестиции в AI, комфортная корпоративная культура, политика невмешательства в приобретаемые компании (LinkedIn, GitHub), и ещё куча фишечек — просто вау!
2024-01-11 01:24:08
Запустился GPTs Store: https://chat.openai.com/gpts
(правильная страница пока открывается не у всех, но если вы читаете это 11.01 — то уже должно работать. Доступно только для платных подписчиков!)
Тезисно:
— есть тренды, можно смотреть, что популярно у других (не придётся перелопачивать кучи всякого разного)
— каждую неделю будут показываться новые GPTs в секции «featured» (читай «выбор редакции»)
— на первой неделе это:
1) Персональные рекомендации по маршруту AllTrails
2) Поиск и суммаризация по 200М научных документов Consensus
3) Учитель программирования от Khan Academy
4) Ассистент в создании презентаций Canva
5) Помощник по выбору следующей к прочтению книги
6) AI-учитель по математике и другим наукам
— есть автоматическая система ревью GPTs (видимо, через агента на GPT-4): постить NSFW без устали не удастся
— И самое главное: авторы из США будут получать оплату в зависимости от user engagement (деталей нет — не ясно, время ли это, кол-во сообщений или что-то ещё). Оплата запустится до конца Q1
Всем творцам — удачи, а пользователям — пользы от моделек!
2024-01-10 17:08:34
Вместе с этим ввели давно утёкший план подписки Team.
Цена чуть выше обычного Plus — $25 в месяц за человека. Как подсказывает название плана, предназначен для групп людей. Более того, необходимо делать оплату на год вперёд. То есть минимальный платёж составит 2 (человека) x $25 x 12 (месяцев) = $600 одной транзакцией.
Плюсы плана вы можете видеть на картинке — обещают больший лимит сообщений (сейчас 40 в 3 часа, а сколько будет — не прописано), GPT-шки можно шерить со всеми внутри команды (залил рабочие документы и базу знаний, написал пару функций — и отдал бухгалтерам да поддержке). Фича «не тренироваться на моих чатах» есть и Plus-версии (можете найти у себя в настройках).
UPD: узнал, что можно оплачивать по месяцам, $30 за человека (то есть ещё дороже).
2024-01-10 14:42:38
Всё больше людей показывает скрины того, что им выскочило заветное окошко запуска Project Sunshine. У меня ничего нет, но если у вас появилось — делитесь в комментариях! Ну и ждём официального анонса от OpenAI, конечно.
Очень интересно узнать, есть ли там что-то умнее, чем просто выдергивание отдельных фраз в текстовый файлик, который в каждом чате потом подклеивается в промпт.
2024-01-09 16:33:19
Сегодня поговорим про AI в медицине (потому что я наткнулся на Ted Talk от Eric Topol, кардиолога из США)
Многие думают, что нейронки тут никак не помогут — ведь они ненадёжны и не понимают наш мир. Чтобы избавиться от этих мыслей, достаточно прочитать эти 4 простых факта:
1) живые врачи тоже совершают ошибки, а зачастую наоборот бездействуют, чтобы не ошибиться и не быть наказанными за отступление от инструкций. По статистике, вы в своей жизни как минимум один раз пострадаете от неправильного диагноза РЕАЛЬНОГО врача. Никто не идеален. Да что там, почитайте секцию комментариев под видео — люди там наперебой жалуются.
Вот даже жена Greg Brockman (миллионера, кофаундера OpenAI) получая доступ к лучшим врачам всё равно 5 лет моталась по больницам и не могла понять, что делать. Это происходит потому, что медицинская система предназначена для отдельных узких проблем, а её заболевание влияло на каждую систему организма. Большинство врачей обращали внимание на то, что имело отношение к их специальности. Повезло, что ее аллерголог (!!) собрал все части пазла воедино, выслушав полный набор симптомов и проблем.
2) AI может быть АССИСТЕНТОМ, помощником, справочником в конце концов, который не заменяет, а лишь дополняет живого доктора, и помогает ему не пропустить важные знаки.
Даже если вы посмотрите на завирусившиеся случаи, где «ChatGPT поставила правильный диагноз» (ребёнку или собаке, или даже вот как в случае выше), то увидите, что модель лишь предположила, что за проблема может быть, а уже реальные врачи поддержали кейс, назначили анализы, и пришли к правильным выводам. Ни о какой замене людей речи не идёт. При этом очевидным плюсом модели является отсутствие специальности — она обладает сразу всеми знаниями, что позволяет видеть полную картину происходящего, и выявлять самые редкие проблемы, которые не встречаются в практике.
3) AI может существовать не только в виде ChatGPT-like ассистента — уже разработаны системы, помогающие в поиске новых лекарств (см. AlphaFold 2 или новость про антибиотики). За счёт ускорения исследований в медицине, за счёт отсечения заведомо неправильных вариантов веществ мы быстрее достигаем точки, в которой некоторые болезни просто перестают существовать или хотя бы тревожить нас.
4) если вы читаете это сообщение, то скорее всего находитесь во второй половине человечества по распределению богатства; есть еще ~4 миллиарда людей беднее вас, которым не доступны даже те методы простой медицины и диагностики, что вы можете получить бесплатно. И если им предоставить модель, которая способна сотворять чудеса, упомянутые выше, за копейки, то есть по сути открыть дверь к одним из лучших на сегодняшний день инструментам — они даже бровью не поведут, что оказывается в 10% случаев модель ошибается! Круто, значит большинство из нас получат хорошие ответы! — скажут они. Останется лишь сварить отвар из травы и палок
Осознав эти 4 факта, кажется, легко склониться к мыслям о пользе AI — и это применимо не только к медицине, но и к большинству других областей!
2024-01-08 18:26:56
OpenAI описали свою позицию в ответ на иск от NYT, всего 4 пункта
С их слов, они встретились с десятками организаций с целью обсуждения дальнейшего сотрудничества, получения обратной связи и дальнейшей адаптации. Всего существует несколько целей для партнёрств:
— поддержка писателей и журналистов через предоставление своих продуктов (GPT-4 может быть хорош в вычитке)
— тренировка моделей на непубличных данных с целью добавления контекста (в том числе исторического)
— предоставление пользователям ChatGPT свежего контента, но с простановкой атрибуции (именно так работает партнёрство с Axel Springer)
Таким образом, OpenAI хотят показать, что они двумя руками за сотрудничество.
Обучение AI-систем на общедоступных интернет-материалах является добросовестным использованием, что подтверждается давними и широко признанными прецедентами в правовом поле. Тут компания прикладывает с десяток ссылок на комментарии экспертов (в том числе отправленных в US Copyright Office), а также ссылается на законы EU, Японии, Сингапура и Израиля.
Более того OpenAI указывают на то, что ещё в прошлом году выкатили описание процесса, который позволяет любому сайту исключить себя из списка источников под их продуктами. Ясно, что из тренировочных данных статьи NYT это не удалит, однако позволит избежать проблем 1) с интернет-браузингом модели 2) в будущих выборках.
Запоминание моделью точных формулировок — это нечастое поведение в результате процесса обучения, в котором OpenAI постоянно пытаются добиться прогресса. Такое происходит особенно часто, когда определенный контент появляется в выборке более одного раза (например, если его фрагменты копируются на множестве различных общедоступных веб-сайтов — частый кейс новостей).
OpenAI отмечают, что их выборки настолько объемны, что ни один конкретный источник, пусть даже такой как NYT, не является существенным и единоличным источником знаний модели. Иными словами цель продуктов OpenAI не в копировании и пересказывании конкретных сайтов (и поэтому это fair use, см. пункт выше)
OpenAI констатирует факт, что они были в постоянной коммуникации с NYT до 19го декабря, и, как им казалось, достигают некоторого прогресса в направлении партнёрства. Сам иск для них был сюрпризом, и о нём OpenAI узнали...из новостей
Поэтому весь пост оканчивается следующим заявлением:
— Мы считаем иск The New York Times безосновательным
Ждём развития ситуации и оценок юристов
2024-01-05 16:07:14
Типичное мейд-робо-кафе в 2024м в офисе Google, ничего необычного.
Видео ускорено в 10 раз.
2024-01-05 16:06:22
Наглядное описание процесса работы системы.
Самое крутое, что с прокачкой VLM/LLM будет расти и сложность задач, их детальность, качество инструкции и критика. Скоро Gemini-Pro засунут как движок, тогда заживём!
2024-01-05 16:05:15
Когда-то давно OpenAI занимались направлением Robotics, но его пришлось закрыть. Ilya Sutskever говорил, что основной преградой были данные — реальные или синтетические — для обучения роботов. В последнее время всё больше и больше прорывов случается именно в этой области — я уже писал и про RT-X, и про работу из Berkeley, и вот даже вчерашний пост был про обучение навыкам из 50 демонстраций.
Вчера DeepMind дропнули блогпост «Shaping the future of advanced robotics», где описывают сразу 3 (!) работы, которые лягут в основу следующей Foundational Model. Мне захотелось поделиться с вами одной очень интересной.
AutoRT: Harnessing large models to better train robots
AutoRT — система, использующая существующие модели для масштабируемого развертывания флота роботов в совершенно новых сценариях с минимальным контролем человека (
1. Робот катается по месту и снимает окружение на камеру
2. Vision-Language-Model (VLM) делает описание пространства
3. LLM генерирует текстовое описание задачи, с которой роботу нужно справиться
4. LLM описывает пошаговый процесс выполнения задачи
5. Описание подвергаются критике со стороны другой LLM, использующей — ВНИМАНИЕ — конституцию, обеспечивающую более безопасное поведение. И да, часть конституции — это пересказывание Законов Азимова (но также добавляется и описание робота, что у него одна рука — поэтому критик будет убирать задачи, требующие двух робо-кутяп)
6. Прошедшие критику и автоматически отобранные задачи передаются роботу на исполнение
7. Данные собираются в общий пул, который может использоваться для дообучения роботов (а пока просто оценивается разнообразие датасета)
Система предусматривает, что для малой части задач может вмешаться человек (скажем, отсматривать 10% задач), но это необязательный компонент.
Как вы понимаете, система не зависит от количества роботов, и может запускаться параллельно на огромном флоте — в случае DeepMind это было всего лишь 20 машинок. Можно оставить 100500 роботов на складе на полгода — и появятся и грузчики, и прорабы, и (наверное) халтурщики, коротающую смену в кафе.
Очень жду RT-3, обученную на десятках тысяч разных задач — ведь из прошлых работ мы знаем, что это существенно увеличивает качество и поднимает планку «понимания» роботом ситуаций и инструкций. Ну и ждём симметричного ответа от Tesla до конца. 2024 🙂
2024-01-04 20:32:38
Кулибины из Stanford University x DeepMind из говна и палок собрали робота за $32k
Он управляется нейросеткой с ноутбука с GPU 3070TI и способен обучаться сложным задачам всего за 50 демонстраций. «Демонстрацией» тут называется последовательность действий, осуществляемая человеком со специальными контроллерами в руках (см. тут и на видео). Авторы тестировали робота на многих задачах, и в целом в более чем 50% случаев у него всё получается после шага обучения «подражанию» людям.
Делает ну буквально всё: готовит, заправляет стиралку, подметает, заправляет подушку в наволочку, протирает мебель... был бы у меня такой робот — я б может и не женился
Инструкция «собери сам» доступна тут, в основе лежат покупные робо-детали и распечатанные на 3D-принтере компоненты.
Больше демок: тут, тут, тут и тут. Тем, кто досмотрит приложенное видео до конца — бонус с нарезкой людей фейлов бота при готовке. Тут платформой управляет человек (пока), то есть происходит та самая демонстрация.
———————————
Начинаем 2024й год в AI с хороших новостей для сотрудников фастфуда
2023-12-31 12:00:43
Вот и заканчивается первый календарный год ведения канала, уже скоро по Земле поползёт новогодняя волна. До меня она докатится раньше, чем до большинства читателей — сейчас я в поясе GMT+8 в Куала Лумпур. Отмечаю тут второй год подряд, очень нравится.
За этот год я дважды оставался безработным, в начале после сокращения из Blockchain.com и в конце, когда мы с партнёром решили заморозить компанию в силу разных причин. Поначалу было немного волнительно, мол, как так, жить и без работы, но потихоньку привык — теперь и работать идти не хочется
Но год вышел очень удачным и продуктивным. Я сделал много образовательного материала (и весь — бесплатно!), получил опыт работы в международных компаниях, существенно подтянул английский, встретил тучу умных и интересных людей, ну и конечно же завёл этот канал — сложно поверить, но ему меньше года! День рождения будем отмечать 24-го января, всем подготовиться! По мотивам статей Пашей Комаровским были сняты достаточно популярные ролики (спойлер: stay tuned в 2024м).
Жаль, правда, почти ни одна из моих целей не была достигнута — год начался с увольнения, на визу таланта для переезда в UK я как-то (пока) забил, ну и по мелочи. Но не скажу, что я этим расстроен. Зато знаю, какие корректировки внести на следующий год!
Не помню где, но увидел интересный совет — не ставить цель вида «начну заниматься спортом и здорово питаться», а назначать году (или кварталу) тему. «Это год здоровья» — такая формулировка должна висеть в голове, когда выбираешь, пойти в зал или потюленить, или заказать боул вместо пиццы. С ней и постараюсь жить — рассуждая об AI и будущем я пришёл к мысли, что хочется пожить подольше, повидать побольше. Не скажу, что присоединяюсь к движению longevity, но всё равно. Рекомендую вернуться и перечитать вот этот пост: https://t.me/seeallochnaya/707, сам сделаю также.
Кроме этого, есть ещё три важных пункта:
1. Начать делать материал для мировой арены, на английском языке. Скорее всего, посты в канале будет выходить реже, просто потому, что мне нужно будет дублировать информацию в переводе.
2. Найти стабильную работу (у меня в голове есть 5 критериев отбора), которая поможет
3. Закрепиться на одном месте. Немного устал кататься по свету за полтора года, еще 6-8 месяцев ок, но к следующему НГ хотелось бы осесть в своей квартире.
Всех с наступающим, спасибо, что читаете, лайкаете и комментируете, спасибо, что делитесь со своими знакомыми (надеюсь, вы это делаете!)!
С Новым годом!
2023-12-28 13:41:24
С одного из положений кекнул — смотрите, ChatGPT может ходить в интернет! И там читать что-то, что потом показывает пользователю. Невероятно!
Эта комичная ситуация для меня скорее указатель на то, что запрета на использование данных не будет: схожее дело в своё время выиграл Google. Показывать и цитировать источники, предоставляя доступ к информации — не то же, что выдавать их за свои. Суды США точно не пойдут разом против всего тех-сектора, запрещая использование проприетарное онлайн-материалов, тут можно быть спокойным.
В общем, очень интересно, на чём по итогу сойдутся все стороны!