BOGDANISSSIMO
2024-03-14 04:41:54
Extropic: Добро пожаловать в Термодинамическое Будущее!
Вчера решил размять пальцы, набросать переводец на Хабр про один стартап, который занимается квантовыми компуктерами, успел поднять $14.1М в декабре и позавчера поделился первыми новостями касательно того, что они строят.
Целятся на много-много порядков сократить себестоимость и время вычислений для AI алгоритмов ближайшего будущего. Кто знает, быть может Сэму в итоге понадобятся циферки сильно меньше $7T на железо для AGI.
https://habr.com/ru/articles/800033/
You're welcome. Буду рад репостам!
2024-01-25 11:17:13
REASONING
Важный мета-навык, на который Я обращаю внимание на собеседованиях, это "здравый смысл" или "умение рассуждать". Мне нравится метафора Игоря.
У каждой позиции, на которую нанимаешь, есть несколько ключевых навыков, которые сотрудник будет использовать в работе. Цель собеседования:
1. как можно точнее оценить, на каком уровне кандидат находится по каждому из направлений;
2. понять, какой у кандидата потенциал роста (за какое время сможет наверстать отстающие?).
По этой причине вы сильно облегчите жизнь – и себе, и интервьюеру, – если заранее будете знать ответ на вопрос "какие твои самые сильные (слабые) навыки?". О том, как трекать навыки, у нас был пост: https://t.me/bogdanisssimo/175
Пункт №1 – это то, что кандидат уже знает и умеет, с чем он уже работал. Но в работе далеко не всегда делаешь то, что уже делалал, одними и теми же инструментами, поэтому надеяться, что нам повезёт и задачи, которые нужно решить, попадут в эту категорию – не приходится.
Пункт №2 ещё важнее и интереснее. Мы живём в период, когда ландшафт технологий меняется на глазах, поэтому нужно быть очень адаптивным и уметь в короткие сроки осваивать новые инструменты (да и вообще говоря, работать с непривычным уровнем абстракций).
Метафора: Каждый навык это как отдельная вертикаль на шахматной доске, допустим их 8 и у каждого 8 уровней. За 60 минут интервью тебе нужно методом тыка (буквально, binary search), найти, где походит граница между тем, что кандидат знает и умеет, и тем, что не знает.
Далее, хотим понять, а на сколько клеток вперёд кандидат может осмысленно рассуждать? Лучше всего давать кейс. Как он принимает решения в условиях неопределённости? Какие он делает допущения? Как экстраполирует, что знает, на то, что не знает? Проговаривает ли логику? Оценивает ли уверенность в своих гипотезах? Когда делает ошибки, находит ли их сам?
Чем выше ваш грейд, тем шире должны быть обе зоны. Если вы ещё стажёр, вам тем более стоит делать ставку на reasoning, ведь как таковой зоны "с чем уже работали" у вас пока нет.
2023-12-13 11:28:55
3. Ensemble with choice shuffle. Здесь начинается уже специфика бенчмарков, где на выходе ожидается вариант ответа, выбранный из заранее определённого списка. Если это не кейс вашего приложения, вам эта часть будет бесполезна. Проблема: как показала практика, порядок вариантов, из которых нужно выбирать, статистзначимо смещает выбор варианта при перезапуске генерации много-много раз. Чтобы это обойти, перемешиваем варианты, например, 5 раз и выбираем самый популярный (что требует 5 вызовов, вместо 1, Я ещё не думал в сторону, можно ли оптимизировать косты промпта здесь с помощью Моего любимого магического параметра n, но да ладно).
Вот и весь Medprompt. Даёт какие-то мощные приросты в точности и обгоняет fine-tuned модель от Google, Med-PaLM 2.
Мне в юзкейсах достаточно few-shot kNN + CoT + ещё разной магии, у Меня нет заранее предопределённых вариантов, поэтому нам choice shuffle не актуален. Шаблоны промптов с картинки можно покурить здесь, там ничего сложного. За ссылочки и помощь в разборе спасибо Игорю (@seeallochnaya).
P.S. Поделитесь, а какие из этих техник вы применяете у себя в LLM-продуктах? Мне и другим будет интересно узнать.
#LLMOps
2023-12-13 11:27:21
MEDPROMPT
Как выжать максимум из LLM до того как заводить fine-tuning (который дорогой, долгий и сложный)? Ответ: продвинутый prompt engineering. Есть, значит, такой Medprompt, который со страшной силой бьёт бенчмарки на каких-либо узких доменах за счёт довольно простых приёмов.
Нам понадобятся 3 ингредиента:
1. kNN few-shot
2. Chain-of-Thought (CoT)
3. Ensemble choice shuffle
1. kNN few-shot: LLM сильно лучше понимают, что от них хотят, когда даёшь пару примеров (прямо как и люди). kNN few-shot практически тоже самое, что RAG (Retrieval Augmented Generation), с той лишь разницей, что если в RAG мы векторизуем сырую базу знаний (набор документов, разбитых на кусочки), то во few-shot kNN мы векторизуем запросы пар "запрос - ответ". Конкретно в Medprompt по запросу достаём "запрос - рассуждение (CoT) - ответ" (рассуждение и ответ могут быть как прописаны экспертом, так и сгенерированы LLM, а затем провалидированные экспертом).
Вы можете использовать в любом своём приложении few-shot как статичный (руками прописанный в промте), так и динамический (в kNN режиме, когда по запросу пользователя из векторной базы данных достаются похожие примеры запросов с их правильными ответами) – и это гарантированно повысит качество.
2. Chain-of-thought (CoT): цепочка рассуждений – по-простому, мы просто говорим модели подумать перед выбором финального ответа. Например, Before crafting a reply, describe your observations in 3 sentences with clarifying strategy we should choose in <draft></draft> tags. Вариаций как организовать CoT масса. Главное, что это позволяет модели порефлексировать, набросать черновые варианты или выделить, на что обратить внимание, – до того как давать ответ.
CoT также значимо бустит качество генерации практически в любом приложении, переводя модель из режима "ответа сходу" на "обдуманное решение. Ведёт к дополнительным костам и секундам на "токены рассуждения", которые вы вероятно не будете показывать пользователю, но с GPT-4-Turbo цена и время стали приятнее.
#LLMOps
2023-10-13 07:16:58
Вчера вечером перед сном читал блог Грега Брокмана –сооснователя и президента OpenAI (ранее CTO в Stripe). Некоторые его называют главным кодером в OpenAI.
Рекомендую прогуляться и вам:
• Его проекты до/в OpenAI (+ полезные ссылки)
• Его блог (часть постов в соавторстве с Ильёй)
#OpenAI
2023-10-13 07:16:58
RASMUSSEN SYSTEM MODEL
Например, в одном месте Грег делится ссылочкой на лекцию о том, как он мыслит о сложных системах со словами "I think this is the best (and only, really) framework I've seen on how to think about running a complex system". Лекция короткая, на 19 минут, и будет полезна любому инженеру и техническому менеджеру.
Идеи из лекции:
Сложная система адаптивна: её состояние в каждый момент времени "танцует" между тремя границами:
1. окупаемость (хватает ли нам денег её поддерживать?),
2. поддерживаемость (хватает ли нам рук её поддерживать?)
3. работоспособность (выдерживает ли нагрузку? учащаются ли ошибки, поломки, проблемы?)
Мы стремимся сделать систему дешевле (экономически эффективнее), отодвигая от границы окупаемости – и "автономнее", чтобы починка багов не отвлекала от добавления нового функционала. Обе эти оптимизации не даются бесплатно и ведут состояние системы – ближе к границе работоспособности (соответственно, система работает "на пике", значит, выше риск проблем).
Что же делать? Очерчивать пунктиром красные линии для допускаемой работоспособности? Вводить новые регламенты и субъективные ограничения перед физическими ограничениями?
Нет. Как сказано в начале, мы строим адаптивные системы, которые несмотря на желание сократить косты у менеджеров и на лень инженеров – на удивление работают и даже... относительно редко падают. Что обеспечивает эту адаптивность? – Люди.
Здесь мы приходим к важности мониторингов, алертов, опережающего реагирования, наконец, нашего собственного обучения по мере работы с системой. Это контрастирует с идеей, что достаточно наперёд просчитать на салфетке все нефункциональные требования, собрать систему по лекалу и закрыть сервера в бункере, чтоб никто не трогал.
P.S. Впрочем, не исключено, что через пару лет мы придём к практике навешивать пару-тройку LLM-агентов, завязанных на мониторинги и алерты, для оперативных починок и корректив наших систем, и тогда точно можно закрывать в бункерах!
https://www.youtube.com/watch?v=PGLYEDpNu60
Highly recommended.
2023-09-11 07:57:40
Mochary Method
Существует такой персонаж, Matt Mochary, коуч для CEO. Его очень рекомендует Sam Altman (CEO, OpenAI):
"Matt’s coaching has brought me clarity, focus, organization, less stress, higher performance (me and the team). I have always been skeptical of coaches but I think he can 10x the output of a lot of people and I hope he does!"
У Matt Mochary есть Mochary Method Curriculum, это открытая база знаний по всевозможным темам, с которыми фаундеру необходимо сталкиваться в работе: как строить компанию, организовывать встречи (включая 1:1), как слушать, как принимать решения, ставить цели, нанимать, мотивировать, оптимизировать, расти, работать над ошибками – и много чего ещё. Все знания разбиты на короткие заметки по 2-5 минут чтения. Со слов Matt, эти заметки покрывают 95% его тренинга. Я рекомендую их чтение любому, кто даже только начинает пробовать себя в менеджерской роли.
Впервые этими заметками со Мной довольно давно поделился Игорь, автор канала Сиолошная. Но почему Я вспомнил о них сегодня?
Решил Я, значит, натравить вчера на эти заметки пайплайн с языковой моделью поверх базы знаний, который собирал под другой проектик, заглядываю на сайт, а там... это уже сделано, притом в клёвом интерфейсе. Впрочем, это было ожидаемо, раз уж Sam Altman оказался на лендинге сайта!
Соответственно, highly recommended (Mochary AI):
https://beta.mocharymethod.com/matt_bot
2023-08-14 11:02:47
Из папочки "Избранное". Игорь Котенков утверждает, что большинство людей неправильно учатся, и рассказывает методику, как правильно обучаться чему угодно:
0. Четко формулируешь проблему
1. 10 минут думаешь сам
2. 20 минут ищешь в интернетах
3. если не нашёл ответ, задаёшь вопрос
2023-07-20 08:08:23
главная новость этой недели