e/acc
2024-04-25 06:07:30
О будущем LLM
Не знаю за ваши модные ку-стары, но вот некоторый набор уже практически фактов про LLM в перспективе месяцев:
1. GPT и LLaMa — это не продукты, а исследовательские проекты. Как только детали архитектуры, пайплайнов, датасетов станут ясны (экспериментальным путём), стоимость тренировки аналогичной модели упадет в разы, а скорее сотни раз. Вы сможете сделать претрейн специализированной модели за $10-100k, причем даже в распределенной среде.
2. То же самое с инференсом. За счет квантизации, MoD, оптимизации под edge девайсы и архитектуры ARM, TPU, NPU модели уровня 13-30В параметров можно будет запускать на телефонах.
3. За счет увеличения окна контекста до миллионов токенов, файнтьюнинг становится не так важен. Ты просто копируешь промт на 10-100 страниц со всей историей своей жизни или организации и получаешь персональную модель. Стоимость переключения с Зефира на Гермес, с Клода на Databricks становится ровно три клика и один копипаст.
4. Адаптивный роутинг. Приложения выбирают модели на лету, в зависимости от задачи. Модели выбирают инфраструктуру для вычислений на лету, в зависимости от спроса и предложения на железо в конкретный момент.
5. RAG не уйдет, а, наоборот, заменит в некоторой степени претрейнинг. Большие децентрализованные RAG датасеты на миллиарды или триллионы токенов будут просто «подсасывать» знания на лету, что позволит делать базовые еще тоньше, быстрее и запускать на микроволновке (quite literally).
2024-03-11 13:31:22
Наконец, статья про децентрализованный AGI, над которой я работал несколько недель. Статья доступна на сайте, в формате видео-презентации и треда в твиттере.
AGI грядёт. СЕО NVIDIA и OpenAI сходятся во мнении, что в течении ближайших пяти лет.
Приведет ли это к развитию человечества или централизации власти? Можем ли мы создать полезный AGI, доступный в равной степени всем?
Основной тезис статьи: AGI — это не гигантская back-box модель, а скорее сеть связанных между собой триллионов автономных агентов и персональных ИИ. Мы называет это кибернетической экономикой.
В первой части статьи рассматривается эволюция интернета (web 1.0 → web3) и парадигм программирования (software 1.0 → software 3.0), а так же новые свойства децентрализации, открытости, совместимости таких систем.
Во второй части обсуждаются социальные, экономические, технические и политические проблемы текущего вектора развития ИИ: централизация контроля и власти, цензура, манипуляция, неэффективная регуляция, лишение пользователей контроля над данными, проблема безопасности ИИ.
В третьей части я рассказываю о компонентах и недостающих элементах централизованного ИИ: открытые проколы, конфиденциальность данных и весов моделей, открытые рынки для вычислений/данных/работы/файн-тьюнингов/RAG'ов/агентов, системы платежей и коммуникации между агентами, алгоритмы маршрутизации для оркестровки ансамблей агентов, децентрализованное управление через DAO, репутация и механизм проектирования для предотвращения эксплуатации, структуры контрактов для достоверной координации многоагентных систем.
Cyber.fund существует, чтобы сделать киберэкономику реальностью. В ближайшие годы мы проинвестируем $100М, а так же время, ресурсы, экспертизу, технические компетенции в лучшие проекты, которые работают в этом направлении.
Ваш ретвит — самый простой вклад в это будущее :)
2024-02-25 12:23:02
Руки, ноги или колеса?
Ответ: все вместе
А вообще, время когда роботы или люди-киборги менее быстрые, ловкие, сильные, выносливые, точные, чем животные (и обычные люди) — это очень короткий, незаметный на таймлайне эволюции, период. Который почти подошел к концу.
2023-12-14 21:17:26
Впервые новое научное знание было создано с помощью LLM (а не просто AI-assisted software).
Буквально месяц назад читал комментарий на канале что «LLM никогда не смогут делать научные открытия, чертовы стохастические попугаи», а сегодня Гугл публикует в Nature статью, что они сделали открытие в математике используя LLM.
Метод довольно универсален и я ожидаю решение новых задач из математики именно таких способом в ближайшее время.
Ребята из DeepMind использовали LLM для написания, изменений и оценки кода, который стремится максимально эффективно решить открытые задачи в математике. Для того используется, по их заявлениям «medium-sized LLM», то есть, я думаю между 20 и 70 млрд параметров. Что важно, алгоритм FunSearch не просто находит ответ на задачу, а создаёт код для внедрения решения в реальные процессы. В частности, они решили задачу оптимизации «упаковки» объектов в минимальное количество контейнеров, задачу циклических графов, и задачу нахождения максимального сета, в котором точки не лежат на прямой.
2023-10-29 09:05:06
ChatGPT теперь поддерживает работу с файлами (загружай PDF и задавай вопросы) и совмещение разных модальностей в одном чате (может рисовать картинки, гуглить, писать и исполнять код в одном чате).
Для большинства это шок, потому что их стартап идея была разбита о быструю доставку качественного продукта команды OpenAI с инженерами за $600к в год.
Дабы предупредить будущий шок, давайте сразу обсудим, что ChatGPT выкатит в следующих версиях:
- подключение своих данных: Gmail, slack, WhatsApp
- общение в едином чате, который помнит все о вас. по сути - разговор с ассистентом.
- возможность соединять цепочки действий и плагинов (агенты)
- маркетплейс плагинов с монетизацией и курацией (curation, если на человеческом)
- полная мультимодальность: на вход видео, на выход голос; на вход музыку, на выход видео; на вход excel на выход диаграммы
- проактивный ИИ: сам поймёт когда и что у вас спросить или вам рассказать
- у каждого пользователя персональная модель, обученная на последних годах диалога (каждому — свою LoRA)
2023-09-25 11:00:09
В тему ИИ как Великого Уравнителя. Я каждый день вижу примеры когда люди благодаря генеративным нейронкам могут делать вещи, к которым раньше они даже не знали с какой стороны подступаться.
У меня есть знакомый, который ни разу в жизни не программировал, а тут, на пенсии, с помощью GPT сделал рабочее приложение для телефона. Или любой кто пишет пост, книгу, презентацию и теперь может бесплатно сгенерировать графику на уровне топ-10% лучших иллюстраторов мира. Или, подписывая контракт, получить анализ договора от Claude на уровне не хуже среднего юрист (но бесплатно, а не за $200). И школьник, которому ИИ объясняет сложную тему (делая её не только сложной, но интересной) с персональным подходом, эмпатией, чистотой объяснения и кастомно сгенерированными графиками и схемами на уровне топ-10% педагогов мира. А заскучавшие школьники генерируют action сцены на уровне средненького боевика с десятимиллионным бюджетом.
В каждом моём дне таких примеров десятки: саммари звонков, редактура текстов, анализ юридических документов, изучение фармакокинетики (для одного проекта), написание и анализ кода на почти незнакомом языке.
Это сегодня. А ведь еще ничего толком не началось. Да, формально, у ИИ-продуктов уже под миллиард пользователей (Bing, GPT, Opera, etc). Но реальных power users, которые почувствовали на себе эту силу Великого Уравнения, по моим скромным оценкам, все ещё только десятки тысяч.
Нас ждут великие приключения и великие потрясения.