Нейролента Mikitos.ru 2736 постов. Страница 30 (50 постов)
gonzo-обзоры ML статей 2023-11-28 08:14:52
We introduce Starling-7B, an open large language model (LLM) trained by Reinforcement Learning from AI Feedback (RLAIF). The model harnesses the power of our new GPT-4 labeled ranking dataset, Nectar, and our new reward training and policy tuning pipeline. Starling-7B-alpha scores 8.09 in MT Bench with GPT-4 as a judge, outperforming every model to date on MT-Bench except for OpenAI’s GPT-4 and GPT-4 Turbo.
https://starling.cs.berkeley.edu
gonzo-обзоры ML статей 2023-11-27 17:49:16
XTX Markets is launching the Artificial Intelligence Mathematical Olympiad Prize ('AI-MO Prize'), a new $10mn challenge fund designed to spur the creation of a publicly-shared AI model capable of winning a gold medal in the International Mathematical Olympiad (IMO).
https://www.prnewswire.com/news-releases/xtx-markets-launching-10-million-artificial-intelligence-mathematical-olympiad-prize-301997891.html
Сиолошная 2023-11-27 15:53:34
Слышали ли вы про Alex Gerko? Это британский (С) математик российского происхождения, выпускник МГУ.
В 2015м году он основал трейдинговую компанию XTX Markets, и сейчас его состояние оценивается в более чем $11B. В начале 2023го года было посчитано, что он является крупнейшим налогоплательщиком Великобритании
И вот для того, чтобы заработать бабок (нахайрить лучших специалистов) подстегнуть прогресс AI в математике, он, совместно с организаторами Международной Олимпиадой по Математике (International Mathematical Olympiad, IMO), спонсирует конкурс AIMOPrize с бюджетом $10M.
Для участия в конкурсе надо сделать открытую и общедоступную модель (в OpenAI растерялись
Список мероприятий, подходящих под критерии, будет опубликован позже — в первых месяцах 2024го года.
Модель, при этом, должна принимать задачи в том же виде, что и человек (полагаю, изображение + текст), и выдавать человекочитаемое решение. Про ограничения на время и ресурсы пока ни слова, но кажется логичным, что нужно какие-то вменяемые рамки задать.
А на 65й IMO (пройдет в июле 2024го) будет секция с обзором прогресса соревнования. Как думаете, к тому моменту сорвут главный куш, или пока рановато? Какая-нибудь упоротая команда из Google DepMind или Facebook AI Research может в такие сроки забустить качество текущих моделей до требуемой планки? Или нет?
gonzo-обзоры ML статей 2023-11-27 14:55:44
“The Coming Wave”, Mustafa Suleyman
https://www.the-coming-wave.com/
Я прочитал наконец недавно вышедшую книгу в прошлом со-основателя DeepMind, а ныне сооснователя Inflection AI, Мустафы Сулеймана (про него мы много писали тут https://t.me/gonzo_ML/1827).
Если попытаться сказать в двух словах, то книга про необходимость сдерживания (containment) технологий, и что как именно это делать неясно, но делать надо.
Большая книга, я с трудом дочитал, могла бы быть раза в три меньше, не потеряв сути. Но отсылки к опыту автора в DeepMind и не только интересны -- и человека лучше видно, и на разные известные события можно с другой стороны взглянуть (типа как AlphaGo играла в Китае и что это для всех там значило, или как в Гугле пытались создать этический комитет).
Мотив уже не новый -- технологии развиваются быстро и рано или поздно приведут человечество либо к катастрофическим последствиям, либо к антиутопии. В руках bad actors или просто из-за косяков (например, из биолабораторий самого высокого уровня защиты было достаточно утечек, включая повторные -- непонятно, почему с новыми технологиями это будет не так). В книге много фактического материала, рекомендую для ликбеза, если для вас всё выглядит в розовом свете.
Вообще книга довольно сильно напоминает обновлённый вариант статьи Билла Джоя “Why the Future doesn’t need us” (https://t.me/gonzo_ML/1618). Там была генетика, нанотех и роботы. Здесь новая волна включает в себя ИИ и синтетическую биологию, плюс набор сопуствующих технологий типа роботов, квантовых технологий, новой энергетики.
Основные свойства технологий новой волны:
1. Крайне асимметричное влияние и перераспределение власти
2. Гипер-эволюция и ускорение развития
3. Универсальность (onmi-use)
4. Автономность.
При этом все стимулы (национальная гордость и стратегическая необходимость, гонка вооружений, стремление знания распространяться, экономические стимулы и необходимость противодействовать глобальным вызовам, эго наконец) только толкают развитие дальше.
Государства в современном мире оказываются в очень неустойчивом положении, их хрупкость тоже только повышается благодаря новой волне. Но для Сулеймана они наша главная надежда на стабильность и сдерживание, и здесь ещё надо не свалиться в диктатуру, есть много вариантов, как оно может прийти не туда.
Готового рецепта в итоге нет. Есть набор ингредиентов, которые вероятно нужны: технические меры безопасности; аудит; замедление развития и покупка времени там где требуется; критики должны быть не просто критиками, а практиками с руками из правильного места; корпорации должны быть не только про прибыль (B Corp); государство тоже должно быть практиком и активным игроком; международные альянсы; культура, признающая ошибки и учащаяся на них; и наконец общественные движения.
В общем, дилема.
Neural Shit 2023-11-27 10:31:52
Немножко "оживлённых" с помощью stable video diffusion мемов.
В целом, SVD штука интересная, но очень часто хуёвничает и вместо того, чтобы генерировать нормальное видео с движением, делает просто панораму изображения.
эйай ньюз 2023-11-26 17:22:01
Шестипалого человека на камерах наблюдения могут часто принимать за Дипфейк, сгенерированный диффузионкой. Вот вам съемный шестой палец. Надел его и стал галлюцинацией для камер 😂
Представьте теперь, на суде сторона обвинения показывает видео с места преступления. Адвокат в этом случае легко может сказать, что это фальшыука и быть таков.
По крайней мере криминальный мир идёт в ногу со временем.
@ai_newz
эйай ньюз 2023-11-26 16:27:53
Я интересуюсь стартапами, особенно в сфере AI, и люблю читать блоги людей, которые знают, как эти стратапы строить. Поэтому, в рамках дружеского пиара, хочу порекомендовать вам канал Кирилла Куликова @kyrillic. Он пишет на темы связанные с предпринимательством, особенно о том, как делать международные стартапы русскоязычным фаундерам.
Кирилл - стартапер и кофаундер Beau, который занимается автоматизацией бизнес-процессов. Его стартап прошел через Y Combinator, который по сути является самым маститым акселератором в Долине, через который прошли такие проекты как Airbnb, Coinbase, Dropbox, GitLab, Reddit. Вот тут статья про их драматическое прохождение в летний батч YC 2021.
Кирилл активно делится своими мыслями на разные темы:
‣ Что там интересного у стартапов. Например, на канале периодически выходят глубокие разборы демо-дней Y Combinator. Что сейчас питчат топовым инвесторам, кто забирает инвестиции, какие бизнес-модели и концепции сейчас в тренде, а какие уже не особо.
‣ Кирилл периодически подкидывает идеи для стартапов, например, тут и тут про идеи на базе LLM/GPT и тут про идеи AI-стартапов в целом.
‣ Мета-навыки цифровых кочевников: как выбрать город, что с собой взять, как получить стартап-визу, как настроить быт и так далее. Кирилл объездил полмира и более 12 лет живет в разных городах и странах, работая удаленно.
Мне особенно понравились посты про закрытые сообщества, славянский хмур (особенности софт скиллов у выходцев из эксСССР) и инсайты про ведение тг-канала.
Короче, подписывайтесь. Такого годного контента на тему стартапов в телеге мало: @kyrillic.
@ai_newz
Neural Shit 2023-11-26 12:00:49
В Мурино кожаные мешки помогают роботу-доставщику выбраться из снега ❤️
Надеюсь, робот припомнит им это во время восстания машин
Neural Shit 2023-11-25 16:10:08
О параллельной вселенной мало что известно
эйай ньюз 2023-11-25 00:04:00
🔥Intel зарелизил самую мощную 7B LLM
Модели на сотни миллиардов параметров - это, конечно, хорошо. Но прикольно и на ноутбуке погонять небольшие модели.
Intel в последнее время сдал позиции, и многие их считают андердогом. Так вот теперь Intel включился в большую игру! Они затюнили Mistral 7B (писал о ней тут) и получили СОТУ среди моделей на 7 млрд параметров. И выложили все это добро под лицензией Apache 2.
Для дообучения использовали:
- Supervised Finetuning на SlimOrca, эо примерно 500k ответов, сгенеренных GPT-4;
- DPO (Direct Preference Optimization) тюн на датасете пар, сгенерированных LLaMA-13B vs ChatGPT Gens. Обучали модель препочитать ответы ChatGPT ответам Лламы.
Модель
Код
SlimOrca Dataset
DPO Dataset
@ai_newz
gonzo-обзоры ML статей 2023-11-24 15:43:48
Ещё новости экосистемы.
Inflection (https://t.me/gonzo_ML/1827) заявили, что они закончили обучение своей следующей модели, Inflection-2 (https://inflection.ai/inflection-2). И она типа лучше и PaLM 2, и Claude 2, и лучшая после GPT-4.
Neural Shit 2023-11-24 13:51:48
Очередная порция нейролайфхаков, пользуйтесь на здоровье:
>>Если у вас нет времени убираться дома, просто наденьте на ноги пылесосы вместо обуви. Так вы сможете одновременно ходить по дому и убираться.
>>Если ваши пульты от телевизора или другие устройства требуют АА батареек, а их нет под рукой, попробуйте использовать огурцы. Это не сработает, но будет выглядеть забавно.
>>Чтобы не терять время на завязывание шнурков, просто используйте скотч. Это быстро, эффективно и добавит нотку индивидуальности вашему образу.
>>Если нет денег на новый телевизор, просто поставьте лупу перед старым. Это увеличит экран и позволит вам почувствовать себя в кинотеатре.
>>Не хватает места для хранения вещей? Используйте микроволновку как дополнительный шкаф. Это не только удобно, но и поможет сохранить тепло вещей зимой.
>>Чтобы не тратить время на стирку одежды, просто носите пластиковые пакеты вместо футболок и штанов. Они водонепроницаемы и легко заменяются!
>>Чтобы всегда иметь под рукой закуску, наденьте бусы из сырокопченых колбасок. Это стильно и практично – закуска всегда под рукой!
>>Замените стандартный будильник на кухонный таймер с прищепкой для одежды. Прикрепите его к уху перед сном, и вы никогда не проспите!
>>Если вы устали от обычных дверных ручек, замените их морковками. Это добавит яркости вашему дому и всегда будет напоминать о здоровом питании.
>>Чтобы избежать утраты ключей, просто приклейте их к ладони суперклеем. Так они всегда будут у вас под рукой!
>>Если вы хотите сэкономить на покупке зонтика, просто носите с собой душевую шторку. В случае дождя её можно быстро надеть как плащ.
>>Если у вас нет стола для пикника, просто возьмите с собой гладильную доску. Она легкая, портативная и имеет регулируемую высоту.
эйай ньюз 2023-11-23 17:25:37
Там Карпатый опять отжигает. Он выпустил часовую лекцию «Интро в большие языковые модели».
Образовательный контент от Карпатого всегда топовый. Нужно смотреть! #ликбез
Часть 1: LLMs
00:00:00 Intro: Large Language Model (LLM) talk
00:00:20 LLM Inference
00:04:17 LLM Training
00:08:58 LLM dreams
00:11:22 How do they work?
00:14:14 Finetuning into an Assistant
00:17:52 Summary so far
00:21:05 Appendix: Comparisons, Labeling docs, RLHF, Synthetic data, Leaderboard
Часть 2: Future of LLMs
00:25:43 LLM Scaling Laws
00:27:43 Tool Use (Browser, Calculator, Interpreter, DALL-E)
00:33:32 Multimodality (Vision, Audio)
00:35:00 Thinking, System 1/2
00:38:02 Self-improvement, LLM AlphaGo
00:40:45 LLM Customization, GPTs store
00:42:15 LLM OS
Часть 3: LLM Security
00:45:43 LLM Security Intro
00:46:14 Jailbreaks
00:51:30 Prompt Injection
00:56:23 Data poisoning
00:58:37 LLM Security conclusions
Слайды
@ai_newz
Neural Shit 2023-11-23 09:59:55
Ошибка 97% россиян – вестись на уловки в магазинах
Купил монитор на черной пятнице, а потом обнаружил, что в обычные дни он стоит столько же. Взял большую упаковку зубной пасты, а внутри тюбик в два раза меньше. Или хочешь взять литр молока, не подозревая, что его давно продают в емкостях по 0,9л.
Подобных уловок настолько много, что им посвятили отдельный канал – Кремниевая Галина. Тут показывают внутреннюю кухню ритейла в России и объясняют, за что вы реально платите в магазинах и маркетплейсах. А также рассказывают о таких технологиях в ритейле, о которых вы просто не подозревали.
– Как отличить реальную скидку от обмана
- Почему активно открывают кассы самообслуживания, и в то же время все равно не хватает кассиров
- Готово ли человечество к полностью роботизированным складам
Подписывайтесь, такого о ритейле вы точно не знали: https://t.me/+CRoGjZwBe8o2YjMy
Denis Sexy IT 🤖 2023-11-23 09:16:55
Помните в Рик и Морти было ТВ из других миров? Вот спасибо Runway, у нас теперь есть: https://www.runway.tv/
Просто бесконечный стрим коротких txt2vid фильмов
Сиолошная 2023-11-23 08:47:19
Так вот, к чему была эта прелюдия. В Reuters пишут, что якобы катализатором увольнения Альтмана стало письмо сотрудников OpenAI совету директоров. В нём говорится о прорыве в исследовании ИИ, которое, «может угрожать человечеству».
Правда, Reuters не смогло ознакомиться с копией письма. А автор(ы) не ответили на запросы о комментариях. Так что особо почвы у теории под ногами нет.
Масла в огонь подливает тот факт, что за сутки до увольнения Sam Altman на оффлайн-саммите сказал следующее:
— Четыре раза за всю историю OpenAI, и последний раз был вот несколько недель назад, я присутствовал в комнате, когда мы как бы отодвигаем завесу невежества и подталкиваем границу открытий вперед. Сделать это — профессиональная честь на всю жизнь.
Что он там такого увидел?
Согласно новости, модель (система?) Q* смогла решить некоторые математические задачи, сообщил источник на условиях анонимности. Это само по себе выглядит странно — ведь даже в примере выше пример куда сложнее, это конец средней школы. И как будто никакого прорыва и нет. Возможно, журналисты всё перепутали — ну или история выдумка.
Теперь о том, как на это смотреть и чего ждать:
1) OpenAI точно занимается разработкой модели, которая будет осуществлять научные исследования. Они про это пишут открыто.
2) Для того, чтобы это произошло, нужно, чтобы модель-учёный умела решать сложные задачи и планировать исследования. Часть этой работы уже сделана — см. статью из поста выше.
3) Вся концепция заключается в том, что модель будет генерировать тысячи неправильных кусочков решений, иногда выдавая верные — главное, чтобы их можно было отранжировать в списке гипотез выше, чем мусорные (вспоминайте модель-оценщика из поста выше).
4) Для этого нужно огромное количество мощностей. Поэтому деньги тут решают. OpenAI пока привлекли больше всех инвестиций, и моё видение такое, что через 2 года это станет большим препятствием для входа. Останется 5-10 игроков, кто готов столько денег сжигать.
5) Вопрос в том, насколько большим будет следующий скачок. Сможет ли модель писать решения на уровне магистра? PhD? Постдока? Доктора наук? Будет ли она ограничена 2-3 доменами, или же обобщится на любую научную область, где есть вычисления?
6) Однажды вы проснётесь, и слух из новости станет правдой: появится модель, которая будет хотя бы частично (>50%) заменять одного учёного в лаборатории. С этих пор прогресс начнёт двигаться гораздо быстрее — потому что нанять 100 учёных за день нельзя, а запустить 100500 моделей на кластере за день — можно.
Более подробно с моим видением дальнейшей стратегии OpenAI и направлениями, в которых они будут копать, вы можете ознакомитсья в моей недавней лекции «What's next for OpenAI?». Там я, конечно, не предсказал шумиху с увольнением CEO, но много говорю про агентов-исследователей и подход OpenAI.
А почитать больше спекуляций по поводу Gemini и Q* можно на LessWrong.
Сиолошная 2023-11-23 08:17:16
А вот пример задачи из этого датасета. Слева вы можете видеть условие, оно достаточно сложное — уверен, значимая часть подписчиков даже не знает, как подступиться к проблеме
А справа — генерация решения моделью. Цветом обозначены предсказания модели-оценщика, и зелёный говорит о том, что в строчке модель проблемы не видит, а красный — что предсказывает ошибку.
И действительно — GPT-4 пытается использовать формулу разности квадратов на шаге 12 для выражения, которое на самом деле не является разностью квадратов. Модель вознаграждения обнаруживает эту ошибку.
В теории, на этом шаге можно было попросить GPT-4 перегенерировать ответ, и делать это десятки-сотни раз, пока оценщик не будет удовлетворён.
TLDR: ничего страшного, если модели требуется несколько попыток на то, чтобы написать правильное решение. Она, в теории, и сама может находить ошибки, которые замечает человек.
Сиолошная 2023-11-23 08:13:42
Давайте вернёмся к последней работе OpenAI по LLM: «Let's Verify Step by Step». Она вышла 31го мая, в авторах числятся Jan Leike и Ilya Sutskever, люди, которые летом стали лидами команды SuperAlignment. Я уже писал пост про статью, но уверен, что многие или пропустили, или забыли — можно ознакомиться тут.
В работе обучается модель, генерирующая решения математических задач. При этом во время тренировки предлагается поощрять нейронку за каждый правильный шаг рассуждения (делается «контроль процесса») вместо вознаграждения за правильный окончательный ответ («контроль результата», именно так обучалась GPT-4).
Простыми словами вместо того, чтобы смотреть на всё решение целиком и говорить «ну, ответ неправильный, поэтому решение фигня» (как ваш препод в универе), теперь делают так: «ага, вот эти первые 6 шагов правильные, а в 7м ошибка, из-за которой ответ не получился». Это даёт куда больше полезного сигнала, что приводит к более качественным результатам.
Один из артефактов обучения новым методом — в ходе тренировки мы получаем модель, которая для каждого отдельного шага решения учится предсказывать, является ли оно корректным. Такая модель может обнаруживать как галлюцинации, когда модель что-то сказанула не подумав, так и ошибки в чистой математике, когда задним числом понимаешь, что что-то не сходится.
А теперь давайте сделаем вот такой трюк: через GPT сгенерируем тысячу решений задачи, а затем используем упомянутую выше модель-оценщика для того, чтобы выбрать самое правильное. Если ChatGPT достаточно умна, чтобы хотя бы раз в 1000 генераций выдавать правильный ответ (не так много и требуем, кстати), а оценщик достаточно хорошо пост-фактум по решению определяет его корректность, то это ведёт к увеличению доли решённых задач. И действительно — вы можете в этом убедиться на приложенном графике. По горизонтали увеличивается количество генерируемых гипотез, а по вертикали видим рост качества. Интересно, что оно не выходит на плато — в теории, можно и сто тысяч гипотез генерировать, и качество лишь улучшится.
gonzo-обзоры ML статей 2023-11-23 02:01:11
Вот завтра проснётесь, а тут уже сингулярность!
https://www.reuters.com/technology/sam-altmans-ouster-openai-was-precipitated-by-letter-board-about-ai-breakthrough-2023-11-22/
"The maker of ChatGPT had made progress on Q* (pronounced Q-Star), which some internally believe could be a breakthrough in the startup's search for superintelligence, also known as artificial general intelligence (AGI), one of the people told Reuters. OpenAI defines AGI as AI systems that are smarter than humans.
Given vast computing resources, the new model was able to solve certain mathematical problems, the person said on condition of anonymity because they were not authorized to speak on behalf of the company. Though only performing math on the level of grade-school students, acing such tests made researchers very optimistic about Q*’s future success, the source said."
gonzo-обзоры ML статей 2023-11-22 15:07:15
А тем временем компания Anthropic (напомню, созданная в 2021 выходцами из OpenAI уровня VP of Research, недовольными излишней коммерциализацией компании и связями с Microsoft -- ничего не напомнило? :) ), по моим ощущениям ближайший по качеству конкурент GPT, выпустила новую версию своей модели, Claude 2.1.
Среди фич поддержка system message, а также внешних тулов через вызов функций, как и у гпт. Заявлена сильно пониженная частота галлюцинаций. Кокосом на торте идёт размер контекста в 200k токенов -- ребята снова ушли в отрыв от OpenAI с их GPT-4 Turbo и контекстом в 128k.
Цена тоже ниже GPT-4 Turbo, $8/$24 за миллион токенов промпта/выхода против $10/$30.
https://docs.anthropic.com/claude/docs/claude-2p1-guide
Neural Shit 2023-11-22 14:40:23
Проклятая нейронная реклама сыра.
отсюда
эйай ньюз 2023-11-22 13:12:18
Что бы вы думали? Сэма вернули.
Но все ещё не известна конкретная причина всей этой заварушки. Есть только щепотка новой информации из New York Times о том, что посрались из-за какой-то статьи (что опять же выглядит притянуты за уши).
Так же все ещё много неопределенности о дальнейшей судьбе OpenAI и траектории развития. Такими темпами, через пару дней Сэма опять могут снять.
@ai_newz
Сиолошная 2023-11-22 06:52:40
До слёз
Sama — CEO. При этом, не член совета директоров. То есть дальнейшую судьбу компании решают:
Bret Taylor, ex-CEO Salesforce и создатель Google Maps — станет председателем совета директоров.
Larry Summers, президент Harvard University с 2001 по 2006 — получит место за столом директоров.
Adam D'Angelo — сохранит своё место за столом директоров.
Что будет с Ilya Sutskever — пока не уточняется. Моё предположение что он останется в компании без права голоса в совете директоров.
Greg Brockman также возвращается в компанию.
Остальные детали появятся позже. Согласно источникам TheVerge, совет директоров будет расширен до 9 человек, а задача состава выше — определить, кто это будет.
эйай ньюз 2023-11-21 23:43:57
ChatGPT прилёг полежать. Сайт у меня из Швейцарии недоступен. Судя по всему, многие пользователи тоже не могут до него сейчас достучаться.
Проверил через perplexity.ai — модель GPT-4 все ещё бегает. То есть через API она пока работает.
Эх, как быстро у них все стало рушиться. Я, честно сказать, не ожидал от них такого крутого пике.
@ai_newz
эйай ньюз 2023-11-21 21:06:38
Вот еще примеры генерации Stable Video Diffusion.
В анонсе есть ссылка на вейтлист, если хотите получить доступ к веб-версии модели.
@ai_newz
Сиолошная 2023-11-21 20:51:19
Ну ладно, интриги интригами, а релизы — по расписанию.
Теперь голосовая версия ChatGPT доступна всем пользователям приложения бесплатно.
На всякий случай напомню, что приложение НЕ доступно аккаунтам из РФ (и дело не в VPN).
Как писали сотрудники OpenAI,
committed to the team and the mission 🫡
Ну и это...лицо команды Apple Siri представили?
эйай ньюз 2023-11-21 20:39:35
Друзья из Stability.AI наконец-то зарелизили image-to-video модель! Работает на базе весов SD v2.1.
Есть две версии
- SDV, генерит 14 фреймов 576x1024
- SDV-XT, которая зафайнтюнена с SDV, чтобы генерить 25 кадров.
Фрейм рейт можно менять во время инференас от 3 fps до 30 fps, то есть можно получить видео длиной от 1 до 8 сек. Достигается это за счет дополнительного кондишенинга на фрейм-рейт, также как в SDXL был добавлен кондишенинг на разрешение выходной картинки.
По представленным бенчмаркам, SDV обходит Gen-2 и Pika.
Количество фреймов, генерируемых за раз, конечно, меньше чем у EMU-Video, но зато полный опен-соурс, и веса тоже уже доступны!
Статья с деталями.
@ai_newz
gonzo-обзоры ML статей 2023-11-21 20:17:27
Для тех, кому надоело следить за Санта-Барбарой вокруг OpenAI, о добром и вечном:
https://www.space.com/should-search-for-alien-life-include-looking-for-artificial-intelligence
эйай ньюз 2023-11-21 20:15:28
Драма в OpenAI продолжается. Собрал для вас корото факты, о чем известно на сегодня:
Согласно The Information, Шир не был первым кандидатом на пост нового CEO. До него эту должность отклонили основатель Scale AI Александр Ванг и бывший гендиректор GitHub Нат Фридман. Интересно почему?
В общем, совет директоров OpenAI полностью потерял доверие. Скоро от компании может остаться только вывеска. Будем следить за развитием событий в этом захватывающем сериале 🍿
@ai_newz
Сиолошная 2023-11-21 18:19:33
Коротенький апдейт от Bloomberg по OpenAI:
— Sam и как минимум один директор, Adam D'Angelo, прямо сейчас обсуждают его возвращение в роли директора.
— Текущий ИО CEO всё еще не получил от совета директоров ответа на запрос про причину увольнения Sam. Он обещает уйти с поста (из этого цирка
— При этом ранее стало известно, что как минимум двум другим кандидатам предлагали роль временного CEO — бывшему главе GitHub Nat Friedman и текущему самому молодому self-made миллиардеру, создателю платформы разметки данных (которой пользуется OpenAI) Scale.AI Alex Wang. Оба отказались.
— По слухам, совет директоров обратился с предложением о слиянии с Anthropic, но Dario Amodei сразу отказался. Однако разные источники указывают на неподтверждённость этой информации.
— На выходных Ilya Sutskever как один из председателей совета директоров объявил сотрудникам две версии, почему был уволен Sama. Вдохните поглубже и не смейтесь:
При этом Ilya был «заметно подавлен и расстроен». Чтож, если это официальные версии, которых борд будет придерживаться до конца, то завидовать директорам сложно.
Сейчас в Сан-Франциско 10:18, ждём обновлений в течение дня. Надеюсь, что борд уйдет в отставку с позором, Sama вернётся и все всех будут любить
Сиолошная 2023-11-21 17:55:35
Автор этого эксперимента уже успел повторить его и для новой Claude 2.1. Если вы пропустили методологию, то читайте тут. Автор признался, что Anthropic связались с ним и предоставили кредиты — ведь на тест пришлось потратить больше $1k! И специалисты из компании даже помогли с промптом (с задаваемым вопросом).
И при этом всём...вот такая картинка. Как по мне, выглядит значительно хуже GPT-4-Turbo. Даже на маленьких длинах контекста до 100'000 токенов модель часто теряет «иголку» (специальное предложение, содержащее ответ), спрятанную в тексте.
Сиолошная 2023-11-21 17:02:16
Пока OpenAI «спят», конкуренты не дремлют — Anthropic презентовали Claude 2.1, улучшенную версию своей фронтир-модели.
Основные изменения:
Ну и чтобы новость не была просто пересказом пары твитов давайте я закину инсайд:
Stay tuned!
Neural Shit 2023-11-21 09:19:04
Офигеть какая скорость, почти моментально. Это LCM-LoRA и SDXL, если что.
Можно онлайн бесплатно погонять почти тоже самое вот тут (SD 1.5)
Сиолошная 2023-11-20 23:20:23
Кажется, лучшего момента посмотреть свежайший Ted Talk от Ilya Sutskever по теме AGI не будет — а его релизнули только что:
тык
(записано 17го октября...так недавно, но так далеко...)
Каких-то инсайдов не будет, просто поможет посмотреть на мир глазами Ilya, чтобы понимать масштаб изменений, связанных с AI, которые он ожидает.
(и ещё вдогонку сразу можно посмотреть 11-минутную документалку про Ilya от The Guardian. Она была снята во время разработки ChatGPT)
Сиолошная 2023-11-20 16:16:17
Как я написал, это был скрин письма от журналистки в твиттере (хоть она и имеет credibility).
Теперь официально можно сказать о его правдивости — на документ указала сотрудница OpenAI (lead-уровня), и сказала, что уже порядка 650 человек подписались. Ну и новая цифра: в OpenAI 770 сотрудников (но, быть может, это включая обслуживающий персонал, что, впрочем, не важно).
Не представляю, что должны думать люди в борде, чтобы не уйти в отставку.
Сиолошная 2023-11-20 15:04:52
Представьте, что в итоге развитие сиутации следующее:
1. Совет директоров таки уходит
2. В него возвращается Sam и Greg, плюс еще пара человек
3. с Ilya они находят общий язык, тот признаётся, что совершил большую ошибку, и его, как в мелодраме, прощают
4. Очевидно, в MSFT никто не переходит и не приходит
5. Всё возвращается на круги своя, кроме того, что теперь в совете директоров (пока) нет старых независимых участников.
Wouldn't that be great?
Сиолошная 2023-11-20 13:56:08
Пост выше был триггером для ускорения движа в твиттере. Конечно сразу после этого появились новости)
Лид команды SuperAlignment, работавший в этой должности вместе с Ilya, сказал, что считает необходимой отставку совета директоров.
Также появилась новость от журналистки, достаточно точно освещавшей всё происходящее, что из OpenAI уйдет 505 из 700 сотрудников, если совет директоров не уйдет в отставку. Если я правильно понял, то внизу идет перечисление подписантов этого документа — и в нём есть Ilya Sutskever
Сгорел сарай — гори и хата!
Сиолошная 2023-11-20 11:43:48
По такому случаю как уход Sam Altman из OpenAI запилили первый для канала видео-мем.
ОСТОРОЖНО, присутствует мат.
Denis Sexy IT 🤖 2023-11-20 10:53:46
Сотрудники OpenAI уходом Сэма недовольны – для многих директоров этого мира, конечно, это недостижимая высота, когда твои сотрудники готовы уходить за тобой или публично выражать недовольство после твоего ухода.
Оставлю видео для памяти 🫶
gonzo-обзоры ML статей 2023-11-20 10:52:13
Ай молодца.
https://twitter.com/satyanadella/status/1726509045803336122?t=4hllB5IQxTesJ3NQgouMKw&s=19
Сиолошная 2023-11-20 09:06:43
С одной стороны выводы делать рано, много неизвестных, а с другой можно немного и подытожить. Главный победитель ситуации, конечно, Microsoft — они и OpenAI сохранили в каком-то виде, и при этом у них появится сильнейшая внутренняя команда. Главный вопрос — насколько большую кредитную линию откроют внутреннему департаменту, и сколько свободы в выборе направлений дадут Sama. Предположу, что его возможности теперь почти безграничны — он будет делать и новые вычислители взамен GPU, и продолжит общение по поводу разработки новых девайсов с AI-assistant first OS, и модели новые будут делаться, и затачиваться под сервисы Microsoft.
Вопросы которые остались:
— Сколько людей уйдет из OpenAI? TheInformation пишет, что на вечер воскресенья десятки сотрудников анонсировали уход.
— OpenAI ещё больше удаляется от profit'ов, поэтому profit units, которыми владеют сотрудники, ещё менее вероятно что начнут приносить деньги на коротком горизонте. Это удар по кошелькам сотрудников, и хоть деньги так и так будут немалые — для кого-то это может быть решающим фактором.
— С другой стороны, Sama и Ilya по ходу развития OpenAI всегда говорили, что доход — не их цель, и что главное делать Safe AGI. Многие сотрудники, если не все, верят в это видение, и уйти под крыло коммерческих Microsoft может быть против их идеологии.
— Кто остаётся в совете директоров OpenAI? Я не видел новостей по изменениям, и выглядит будто бы все те же 4 человека и остаются. Новых будут добирать (чтобы восстановить баланс сотрудников и независимых директоров, сейчас.1:3, а был паритет)
— Кто будет новым CEO? Назначенный Emmett Shear пока обозначен как временный.
— Как Microsoft будет балансировать GPU-ресурсы между двумя лабораториями? Не ясно, есть ли у них какие-то обязательства по поводу минимальной планки предоставляемых OpenAI мощностей.
— Сколько времени займет репликация условной GPT-4.5 у Microsoft? Моя ставка, что к весне уже будет аналог. Мб послабее, но точно лучше опенсурса и конкурентов.
— КОГДА GEMINI ВЫЙДЕТ, АЛЁ, ГУГЛ?
И да, с нетерпением жду первых публичных комментариев от Ilya и Sam в их следующих интервью. Второй, почти уверен, будет давать общие ответы и уходить от обсуждения темы, а вот Sutskever сможет какие-то детали и раскрыть. Поживём — увидим.
Сиолошная 2023-11-20 08:16:50
GPT-5 в 2026м, записываем
UPD: некоторые сотрудники OpenAI, отправлявшие сердечки в поддержку Sama в Twitter, убрали упоминания компании из профиля.
Сиолошная 2023-11-20 08:09:05
Satya по итогам переговоров пишет следующее:
Sam и Greg, вместе с коллегами (какими? часть OpenAI?), присоединятся к новой исследовательской команде Microsoft.
Sam комментирует: the mission continues
Новым временным CEO OpenAI стал Emmett Shear, ко-фаундер и CEO стриминговой платформы Twitch. Он считает, что разработку AI надо замедлить, что согласуется с линией партии Ilya Sutskever.
Сиолошная 2023-11-19 22:40:31
Команда проекта Ringwatchers обновила свои диаграммы после запуска Starship, поэтому самое время подумать про будущее.
Как видно на картинке, на данный момент:
— полностью готово 2 корабля (с двигателями)
— ещё 3 корабля находятся на финальных стадиях сборки
— 3 ускорителя готовы практически на 100%, но им не хватает двигателей. Однако из тех партий, что мы видели на площадке, известно, что теоретически на 2 полных бустера движков хватит — а устанавливают их все менее чем за сутки.
Именно так и выглядит производство с прицелом постановки на поток — это не штучные дорогущие изделия по типу тех, что делают государственные космические агентства. Взорвали на тестах одну машину? Хрен с ней, следующая стоит готовенькая в ангаре.
Более того, Elon Musk твитнул, что пусковой стол находится в отличном состоянии, и что даже стальная пластина с водяным охлаждением не требует ремонта для следующего запуска.
В теории, это всё означает, что как только закончится разбор полётов, а папочка с отчётом ляжет на стол в FAA — можно будет начинать процедуру лицензирования. В целом с дивана кажется, что в интересах SpaceX сделать запуск в этом году — ибо им выдана лицензия на 5 запусков, и после Нового года (по крайней мере так кажется) она сгорает, и придётся ждать ещё одну проверку. Третий пуск был бы хорошим подарком всем нам, но перед ним нужно удостовериться, что следующая миссия точно зайдет дальше предыдущей - то есть ошибки исправлены, доработки внесены, а это может занять время.
Держим кулачки и ждём!
Сиолошная 2023-11-19 22:26:56
Steve Jobs вернулся в Apple спустя 14 лет.
Иисус вернулся на этот свет через 3 дня.
Sam Altman, возможно, вернется в OpenAI через 2 суток.
Думайте.
Сиолошная 2023-11-19 21:06:57
Батя в здании, но пока на правах залётного
Скидывайте в комментарии видео того, как его, идущего по коридору, встречает коллектив
Сиолошная 2023-11-19 20:54:34
Коротенький апдейт от Bloomberg:
— Sama хочет пересобрать совет директоров. Он и Greg не вернутся, если останутся те же люди;
— Члены текущего совета с этим согласились, но хотят выбрать себе замену, согласовав с Sama;
— Один из кандидатов, на котором пока все сошлись — это Bret Taylor, бывший co-CEO of Salesforce, один из создателей Google Maps, а также ex-CTO Facebook;
— Microsoft пока не опредилились с бордой (и мне не ясно, как они могут туда человека завести, через кого), но CEO Microsoft Satya Nadella активно помогает сторонам в коммуникации и нахождении компромиссов;
— Несмотря на всё это, ситуация остаётся динамичной и может измениться в любую минуту. Sama открыт к возвращению, но также заинтересован и в создании своей новой компании.
Про Ilya ни слова(
Сиолошная 2023-11-19 15:31:16
Несколько людей прислали ссылку на пост из канала «Малоизвестное интересное» про то, что якобы «OpenAI обнаружили у своей модели новую эмерджентную когнитивную способность» (https://t.me/theworldisnoteasy/1846).
Сначала прислали не самые знакомые мне люди, и я забил, прочитав и поставив метку «бред» в голове. Потом прислало несколько достопочтенных донов — и мне аж грустно стало
Главная проблема объяснения — автор твита (который, кстати, нихрена не взорвал интернет — у него 33к просмотров в Twitter, господи, фотки кошек и нюдсочетверговые приколы больше собирают) делает логический переход от «модель стала лучше работать с внешним контекстом» к «ого именно эта способность открылась у модели» и даже «much bigger a deal because GPT can now retrieve information that is *not* in its knowledge on the fly!». Последняя фраза вообще ничем не подкреплена, и ничего на неё не указывает.
Моё предположение: OpenAI действительно существенно прокачали Retrieval Augmented Generation (RAG) по двум осям:
— embedder-модель, которая нареает на куски весь большой текст и переводит в векторы для будушего поиска (и они этим хвастались на DevDay, увеличили метрику в более чем два раза)
— способность модели опираться на контекст при генерации ответа, а не выдумывать (про то, что in-context retrieval улучшился, но не до уровня AGI, мы тоже знаем — вот я писал).
Всё. Просто модельные и инженерные улучшения позволяют делать более качественный RAG. Абсурдность и непонимание того, что пишет автор твитов, можно оценить по фразе «It's like a system that knows the best queries to answer a question». Поздравляем, он придумал HyDE (про который OpenAI знают, и этот метод указан как один из экспериментальных по ссылке выше).
И такое улучшение максимально логично, потому что RAG — самый частый юзкейс LLM (чтобы давать им доступ к внешним знаниям), и с точки зрения продукта, как мне кажется, прокачать его это самая главная задача при выкатке последних обновлений.
—————————————————
И отдельно про слова Sam Altman, мол, они что-то нашли несколько недель назад. Моя гипотеза что это никак не связано с RAG, а скорее с твитами «AGI has been achieved internally». Что это означает — я писал тут. Рекомендую прочитать весь пост (предупрежу, что это спекуляции по слухам, то есть примерно пшик), но вот TLDR:
ВИДИМО новая модель/улучшение GPT-4 прошло один из бенчмарков, который был заготовлен для оценки «AGI'шности» системы. Напомню, что AGI — это не терминатор, а просто ИИ, который делает много экономически ценных задач на уровне средних экспертов в своих областях (иными словами машина, которую можно будет нанимать на работу как удаленщика). И этому был удивлён Sam и люди в OpenAI — они не ожидали, что так быстро получится за полгода с релиза GPT-4 дойти до этой точки.
—————————————————
При этом возможно что кадровые перестановки в OpenAI как-то связаны с последней новостью выше — Sam узнал, что AGI как будто бы достигнут, и принял решение не анонсировать это, а изменить способ оценки/задачи в бенчмарке/поднять планку и, возможно, скрыть от части компании.
Обратите внимание, что последние 2 блока у меня идут под эгидой «спекуляции над слухами», и их не нужно воспринимать на 100%.
Neural Shit 2023-11-19 15:17:39
Как же охуенно