Сиолошная страница 6. Показано 50 статей из 665

2023-11-27 15:53:34

Слышали ли вы про Alex Gerko? Это британский (С) математик российского происхождения, выпускник МГУ.

В 2015м году он основал трейдинговую компанию XTX Markets, и сейчас его состояние оценивается в более чем $11B. В начале 2023го года было посчитано, что он является крупнейшим налогоплательщиком Великобритании

😣

2023-11-23 08:47:19

Так вот, к чему была эта прелюдия. В Reuters пишут, что якобы катализатором увольнения Альтмана стало письмо сотрудников OpenAI совету директоров. В нём говорится о прорыве в исследовании ИИ, которое, «может угрожать человечеству».

Правда, Reuters не смогло ознакомиться с копией письма. А автор(ы) не ответили на запросы о комментариях. Так что особо почвы у теории под ногами нет.

Масла в огонь подливает тот факт, что за сутки до увольнения Sam Altman на оффлайн-саммите сказал следующее:
— Четыре раза за всю историю OpenAI, и последний раз был вот несколько недель назад, я присутствовал в комнате, когда мы как бы отодвигаем завесу невежества и подталкиваем границу открытий вперед. Сделать это — профессиональная честь на всю жизнь.

Что он там такого увидел?

Согласно новости, модель (система?) Q* смогла решить некоторые математические задачи, сообщил источник на условиях анонимности. Это само по себе выглядит странно — ведь даже в примере выше пример куда сложнее, это конец средней школы. И как будто никакого прорыва и нет. Возможно, журналисты всё перепутали — ну или история выдумка.

Теперь о том, как на это смотреть и чего ждать:
1) OpenAI точно занимается разработкой модели, которая будет осуществлять научные исследования. Они про это пишут открыто.
2) Для того, чтобы это произошло, нужно, чтобы модель-учёный умела решать сложные задачи и планировать исследования. Часть этой работы уже сделана — см. статью из поста выше.
3) Вся концепция заключается в том, что модель будет генерировать тысячи неправильных кусочков решений, иногда выдавая верные — главное, чтобы их можно было отранжировать в списке гипотез выше, чем мусорные (вспоминайте модель-оценщика из поста выше).
4) Для этого нужно огромное количество мощностей. Поэтому деньги тут решают. OpenAI пока привлекли больше всех инвестиций, и моё видение такое, что через 2 года это станет большим препятствием для входа. Останется 5-10 игроков, кто готов столько денег сжигать.
5) Вопрос в том, насколько большим будет следующий скачок. Сможет ли модель писать решения на уровне магистра? PhD? Постдока? Доктора наук? Будет ли она ограничена 2-3 доменами, или же обобщится на любую научную область, где есть вычисления?
6) Однажды вы проснётесь, и слух из новости станет правдой: появится модель, которая будет хотя бы частично (>50%) заменять одного учёного в лаборатории. С этих пор прогресс начнёт двигаться гораздо быстрее — потому что нанять 100 учёных за день нельзя, а запустить 100500 моделей на кластере за день — можно.

Более подробно с моим видением дальнейшей стратегии OpenAI и направлениями, в которых они будут копать, вы можете ознакомитсья в моей недавней лекции «What's next for OpenAI?». Там я, конечно, не предсказал шумиху с увольнением CEO, но много говорю про агентов-исследователей и подход OpenAI.

А почитать больше спекуляций по поводу Gemini и Q* можно на LessWrong.

2023-11-23 08:17:16

А вот пример задачи из этого датасета. Слева вы можете видеть условие, оно достаточно сложное — уверен, значимая часть подписчиков даже не знает, как подступиться к проблеме 🥺

А справа — генерация решения моделью. Цветом обозначены предсказания модели-оценщика, и зелёный говорит о том, что в строчке модель проблемы не видит, а красный — что предсказывает ошибку.

И действительно — GPT-4 пытается использовать формулу разности квадратов на шаге 12 для выражения, которое на самом деле не является разностью квадратов. Модель вознаграждения обнаруживает эту ошибку.

В теории, на этом шаге можно было попросить GPT-4 перегенерировать ответ, и делать это десятки-сотни раз, пока оценщик не будет удовлетворён.

TLDR: ничего страшного, если модели требуется несколько попыток на то, чтобы написать правильное решение. Она, в теории, и сама может находить ошибки, которые замечает человек.

2023-11-23 08:13:42

Давайте вернёмся к последней работе OpenAI по LLM: «Let's Verify Step by Step». Она вышла 31го мая, в авторах числятся Jan Leike и Ilya Sutskever, люди, которые летом стали лидами команды SuperAlignment. Я уже писал пост про статью, но уверен, что многие или пропустили, или забыли — можно ознакомиться тут.

В работе обучается модель, генерирующая решения математических задач. При этом во время тренировки предлагается поощрять нейронку за каждый правильный шаг рассуждения (делается «контроль процесса») вместо вознаграждения за правильный окончательный ответ («контроль результата», именно так обучалась GPT-4).

Простыми словами вместо того, чтобы смотреть на всё решение целиком и говорить «ну, ответ неправильный, поэтому решение фигня» (как ваш препод в универе), теперь делают так: «ага, вот эти первые 6 шагов правильные, а в 7м ошибка, из-за которой ответ не получился». Это даёт куда больше полезного сигнала, что приводит к более качественным результатам.

Один из артефактов обучения новым методом — в ходе тренировки мы получаем модель, которая для каждого отдельного шага решения учится предсказывать, является ли оно корректным. Такая модель может обнаруживать как галлюцинации, когда модель что-то сказанула не подумав, так и ошибки в чистой математике, когда задним числом понимаешь, что что-то не сходится.

А теперь давайте сделаем вот такой трюк: через GPT сгенерируем тысячу решений задачи, а затем используем упомянутую выше модель-оценщика для того, чтобы выбрать самое правильное. Если ChatGPT достаточно умна, чтобы хотя бы раз в 1000 генераций выдавать правильный ответ (не так много и требуем, кстати), а оценщик достаточно хорошо пост-фактум по решению определяет его корректность, то это ведёт к увеличению доли решённых задач. И действительно — вы можете в этом убедиться на приложенном графике. По горизонтали увеличивается количество генерируемых гипотез, а по вертикали видим рост качества. Интересно, что оно не выходит на плато — в теории, можно и сто тысяч гипотез генерировать, и качество лишь улучшится.

2023-11-22 06:52:40

До слёз

Sama — CEO. При этом, не член совета директоров. То есть дальнейшую судьбу компании решают:

Bret Taylor, ex-CEO Salesforce и создатель Google Maps — станет председателем совета директоров.
Larry Summers, президент Harvard University с 2001 по 2006 — получит место за столом директоров.
Adam D'Angelo — сохранит своё место за столом директоров.

Что будет с Ilya Sutskever — пока не уточняется. Моё предположение что он останется в компании без права голоса в совете директоров.
Greg Brockman также возвращается в компанию.

Остальные детали появятся позже. Согласно источникам TheVerge, совет директоров будет расширен до 9 человек, а задача состава выше — определить, кто это будет.

2023-11-21 20:51:19

Ну ладно, интриги интригами, а релизы — по расписанию.

Теперь голосовая версия ChatGPT доступна всем пользователям приложения бесплатно.

На всякий случай напомню, что приложение НЕ доступно аккаунтам из РФ (и дело не в VPN).

🤔 интересно, а что с нехваткой GPU и ресурсов?

Как писали сотрудники OpenAI,

committed to the team and the mission 🫡

👀

😆

2023-11-21 18:19:33

Коротенький апдейт от Bloomberg по OpenAI:

— Sam и как минимум один директор, Adam D'Angelo, прямо сейчас обсуждают его возвращение в роли директора.
— Текущий ИО CEO всё еще не получил от совета директоров ответа на запрос про причину увольнения Sam. Он обещает уйти с поста (из этого цирка 🤡), если не получит ответа.
— При этом ранее стало известно, что как минимум двум другим кандидатам предлагали роль временного CEO — бывшему главе GitHub Nat Friedman и текущему самому молодому self-made миллиардеру, создателю платформы разметки данных (которой пользуется OpenAI) Scale.AI Alex Wang. Оба отказались.
— По слухам, совет директоров обратился с предложением о слиянии с Anthropic, но Dario Amodei сразу отказался. Однако разные источники указывают на неподтверждённость этой информации.
— На выходных Ilya Sutskever как один из председателей совета директоров объявил сотрудникам две версии, почему был уволен Sama. Вдохните поглубже и не смейтесь:
1️⃣ он поручил двум разным сотрудникам из OpenAI выполнять один и тот же проект;
2️⃣ он предоставил двум членам совета директоров разные мнения об одном сотруднике.
При этом Ilya был «заметно подавлен и расстроен». Чтож, если это официальные версии, которых борд будет придерживаться до конца, то завидовать директорам сложно.

Сейчас в Сан-Франциско 10:18, ждём обновлений в течение дня. Надеюсь, что борд уйдет в отставку с позором, Sama вернётся и все всех будут любить

2023-11-21 17:55:35

Автор этого эксперимента уже успел повторить его и для новой Claude 2.1. Если вы пропустили методологию, то читайте тут. Автор признался, что Anthropic связались с ним и предоставили кредиты — ведь на тест пришлось потратить больше $1k! И специалисты из компании даже помогли с промптом (с задаваемым вопросом).

И при этом всём...вот такая картинка. Как по мне, выглядит значительно хуже GPT-4-Turbo. Даже на маленьких длинах контекста до 100'000 токенов модель часто теряет «иголку» (специальное предложение, содержащее ответ), спрятанную в тексте.

2023-11-21 17:02:16

Пока OpenAI «спят», конкуренты не дремлют — Anthropic презентовали Claude 2.1, улучшенную версию своей фронтир-модели.

Основные изменения:
1️⃣Окно контекста теперь 200'000 токенов — больше, чем у GPT-4-Turbo 👀 Это примерно 500 страниц текста, или 150'000 английских слов.
2️⃣Уменьшение частоты галлюцинаций в два раза (см. график). Повышается надёжность — повышается и количество задач, которые бизнесы могут переложить на GPT-like модели.
3️⃣Вместе с этим модель стала лучше работать на длинных контекстах при ответе на вопросы: уменьшение ошибки на ~30% при максимальной длине контекста. Это достигается в основном за счёт улучшения работы с началом и серединой запроса.
4️⃣Также добавлена возможность использовать внешние инстурменты по API — по сути это та же фича, что была у OpenAI с лета (function calling).
5️⃣ При этом цена на новую модель такая же, как и на Claude 2. Приятно!

Ну и чтобы новость не была просто пересказом пары твитов давайте я закину инсайд:
ℹ️Anthropic целится в релиз Claude 3 в середине следуюшего года, с окном контекста ~500'000 токенов. Можете начинать придумывать и обкатывать идеи, где это было бы полезным, чтобы подойти к релизу в полной боевой готовности.

Stay tuned!

2023-11-20 23:20:23

Кажется, лучшего момента посмотреть свежайший Ted Talk от Ilya Sutskever по теме AGI не будет — а его релизнули только что:

тык

(записано 17го октября...так недавно, но так далеко...)

Каких-то инсайдов не будет, просто поможет посмотреть на мир глазами Ilya, чтобы понимать масштаб изменений, связанных с AI, которые он ожидает.

(и ещё вдогонку сразу можно посмотреть 11-минутную документалку про Ilya от The Guardian. Она была снята во время разработки ChatGPT)

2023-11-20 16:16:17

Как я написал, это был скрин письма от журналистки в твиттере (хоть она и имеет credibility).

Теперь официально можно сказать о его правдивости — на документ указала сотрудница OpenAI (lead-уровня), и сказала, что уже порядка 650 человек подписались. Ну и новая цифра: в OpenAI 770 сотрудников (но, быть может, это включая обслуживающий персонал, что, впрочем, не важно).

Не представляю, что должны думать люди в борде, чтобы не уйти в отставку.

2023-11-20 15:04:52

Представьте, что в итоге развитие сиутации следующее:

1. Совет директоров таки уходит
2. В него возвращается Sam и Greg, плюс еще пара человек
3. с Ilya они находят общий язык, тот признаётся, что совершил большую ошибку, и его, как в мелодраме, прощают
4. Очевидно, в MSFT никто не переходит и не приходит
5. Всё возвращается на круги своя, кроме того, что теперь в совете директоров (пока) нет старых независимых участников.

Wouldn't that be great?

2023-11-20 13:56:08

Пост выше был триггером для ускорения движа в твиттере. Конечно сразу после этого появились новости)


Лид команды SuperAlignment, работавший в этой должности вместе с Ilya, сказал, что считает необходимой отставку совета директоров.

Также появилась новость от журналистки, достаточно точно освещавшей всё происходящее, что из OpenAI уйдет 505 из 700 сотрудников, если совет директоров не уйдет в отставку. Если я правильно понял, то внизу идет перечисление подписантов этого документа — и в нём есть Ilya Sutskever

🍷

😐

2023-11-20 11:43:48

По такому случаю как уход Sam Altman из OpenAI запилили первый для канала видео-мем.

ОСТОРОЖНО, присутствует мат.

2023-11-20 09:06:43

С одной стороны выводы делать рано, много неизвестных, а с другой можно немного и подытожить. Главный победитель ситуации, конечно, Microsoft — они и OpenAI сохранили в каком-то виде, и при этом у них появится сильнейшая внутренняя команда. Главный вопрос — насколько большую кредитную линию откроют внутреннему департаменту, и сколько свободы в выборе направлений дадут Sama. Предположу, что его возможности теперь почти безграничны — он будет делать и новые вычислители взамен GPU, и продолжит общение по поводу разработки новых девайсов с AI-assistant first OS, и модели новые будут делаться, и затачиваться под сервисы Microsoft.

Вопросы которые остались:
— Сколько людей уйдет из OpenAI? TheInformation пишет, что на вечер воскресенья десятки сотрудников анонсировали уход.
— OpenAI ещё больше удаляется от profit'ов, поэтому profit units, которыми владеют сотрудники, ещё менее вероятно что начнут приносить деньги на коротком горизонте. Это удар по кошелькам сотрудников, и хоть деньги так и так будут немалые — для кого-то это может быть решающим фактором.
— С другой стороны, Sama и Ilya по ходу развития OpenAI всегда говорили, что доход — не их цель, и что главное делать Safe AGI. Многие сотрудники, если не все, верят в это видение, и уйти под крыло коммерческих Microsoft может быть против их идеологии.
— Кто остаётся в совете директоров OpenAI? Я не видел новостей по изменениям, и выглядит будто бы все те же 4 человека и остаются. Новых будут добирать (чтобы восстановить баланс сотрудников и независимых директоров, сейчас.1:3, а был паритет)
— Кто будет новым CEO? Назначенный Emmett Shear пока обозначен как временный.
— Как Microsoft будет балансировать GPU-ресурсы между двумя лабораториями? Не ясно, есть ли у них какие-то обязательства по поводу минимальной планки предоставляемых OpenAI мощностей.
— Сколько времени займет репликация условной GPT-4.5 у Microsoft? Моя ставка, что к весне уже будет аналог. Мб послабее, но точно лучше опенсурса и конкурентов.
— КОГДА GEMINI ВЫЙДЕТ, АЛЁ, ГУГЛ?


И да, с нетерпением жду первых публичных комментариев от Ilya и Sam в их следующих интервью. Второй, почти уверен, будет давать общие ответы и уходить от обсуждения темы, а вот Sutskever сможет какие-то детали и раскрыть. Поживём — увидим.

2023-11-20 08:16:50

GPT-5 в 2026м, записываем

UPD: некоторые сотрудники OpenAI, отправлявшие сердечки в поддержку Sama в Twitter, убрали упоминания компании из профиля.

2023-11-20 08:09:05

Satya по итогам переговоров пишет следующее:

Sam и Greg, вместе с коллегами (какими? часть OpenAI?), присоединятся к новой исследовательской команде Microsoft.

Sam комментирует: the mission continues

Новым временным CEO OpenAI стал Emmett Shear, ко-фаундер и CEO стриминговой платформы Twitch. Он считает, что разработку AI надо замедлить, что согласуется с линией партии Ilya Sutskever.

2023-11-19 22:40:31

Команда проекта Ringwatchers обновила свои диаграммы после запуска Starship, поэтому самое время подумать про будущее.

Как видно на картинке, на данный момент:
— полностью готово 2 корабля (с двигателями)
— ещё 3 корабля находятся на финальных стадиях сборки
— 3 ускорителя готовы практически на 100%, но им не хватает двигателей. Однако из тех партий, что мы видели на площадке, известно, что теоретически на 2 полных бустера движков хватит — а устанавливают их все менее чем за сутки.

Именно так и выглядит производство с прицелом постановки на поток — это не штучные дорогущие изделия по типу тех, что делают государственные космические агентства. Взорвали на тестах одну машину? Хрен с ней, следующая стоит готовенькая в ангаре.

Более того, Elon Musk твитнул, что пусковой стол находится в отличном состоянии, и что даже стальная пластина с водяным охлаждением не требует ремонта для следующего запуска.

В теории, это всё означает, что как только закончится разбор полётов, а папочка с отчётом ляжет на стол в FAA — можно будет начинать процедуру лицензирования. В целом с дивана кажется, что в интересах SpaceX сделать запуск в этом году — ибо им выдана лицензия на 5 запусков, и после Нового года (по крайней мере так кажется) она сгорает, и придётся ждать ещё одну проверку. Третий пуск был бы хорошим подарком всем нам, но перед ним нужно удостовериться, что следующая миссия точно зайдет дальше предыдущей - то есть ошибки исправлены, доработки внесены, а это может занять время.

Держим кулачки и ждём! 🚀🚀🚀

2023-11-19 22:26:56

Steve Jobs вернулся в Apple спустя 14 лет.

Иисус вернулся на этот свет через 3 дня.

Sam Altman, возможно, вернется в OpenAI через 2 суток.


Думайте.

2023-11-19 21:06:57

Батя в здании, но пока на правах залётного

Скидывайте в комментарии видео того, как его, идущего по коридору, встречает коллектив

2023-11-19 20:54:34

Коротенький апдейт от Bloomberg:
— Sama хочет пересобрать совет директоров. Он и Greg не вернутся, если останутся те же люди;
— Члены текущего совета с этим согласились, но хотят выбрать себе замену, согласовав с Sama;
— Один из кандидатов, на котором пока все сошлись — это Bret Taylor, бывший co-CEO of Salesforce, один из создателей Google Maps, а также ex-CTO Facebook;
— Microsoft пока не опредилились с бордой (и мне не ясно, как они могут туда человека завести, через кого), но CEO Microsoft Satya Nadella активно помогает сторонам в коммуникации и нахождении компромиссов;
— Несмотря на всё это, ситуация остаётся динамичной и может измениться в любую минуту. Sama открыт к возвращению, но также заинтересован и в создании своей новой компании.

Про Ilya ни слова(

2023-11-19 15:31:16

Несколько людей прислали ссылку на пост из канала «Малоизвестное интересное» про то, что якобы «OpenAI обнаружили у своей модели новую эмерджентную когнитивную способность» (https://t.me/theworldisnoteasy/1846).

Сначала прислали не самые знакомые мне люди, и я забил, прочитав и поставив метку «бред» в голове. Потом прислало несколько достопочтенных донов — и мне аж грустно стало 🥺 Кажется что даже сам пост написан в вызывающей манере, которая предрасполанает к уменьшению веса его восприятия.

Главная проблема объяснения — автор твита (который, кстати, нихрена не взорвал интернет — у него 33к просмотров в Twitter, господи, фотки кошек и нюдсочетверговые приколы больше собирают) делает логический переход от «модель стала лучше работать с внешним контекстом» к «ого именно эта способность открылась у модели» и даже «much bigger a deal because GPT can now retrieve information that is *not* in its knowledge on the fly!». Последняя фраза вообще ничем не подкреплена, и ничего на неё не указывает.

Моё предположение: OpenAI действительно существенно прокачали Retrieval Augmented Generation (RAG) по двум осям:
— embedder-модель, которая нареает на куски весь большой текст и переводит в векторы для будушего поиска (и они этим хвастались на DevDay, увеличили метрику в более чем два раза)
— способность модели опираться на контекст при генерации ответа, а не выдумывать (про то, что in-context retrieval улучшился, но не до уровня AGI, мы тоже знаем — вот я писал).

Всё. Просто модельные и инженерные улучшения позволяют делать более качественный RAG. Абсурдность и непонимание того, что пишет автор твитов, можно оценить по фразе «It's like a system that knows the best queries to answer a question». Поздравляем, он придумал HyDE (про который OpenAI знают, и этот метод указан как один из экспериментальных по ссылке выше).

И такое улучшение максимально логично, потому что RAG — самый частый юзкейс LLM (чтобы давать им доступ к внешним знаниям), и с точки зрения продукта, как мне кажется, прокачать его это самая главная задача при выкатке последних обновлений.

—————————————————

И отдельно про слова Sam Altman, мол, они что-то нашли несколько недель назад. Моя гипотеза что это никак не связано с RAG, а скорее с твитами «AGI has been achieved internally». Что это означает — я писал тут. Рекомендую прочитать весь пост (предупрежу, что это спекуляции по слухам, то есть примерно пшик), но вот TLDR:

ВИДИМО новая модель/улучшение GPT-4 прошло один из бенчмарков, который был заготовлен для оценки «AGI'шности» системы. Напомню, что AGI — это не терминатор, а просто ИИ, который делает много экономически ценных задач на уровне средних экспертов в своих областях (иными словами машина, которую можно будет нанимать на работу как удаленщика). И этому был удивлён Sam и люди в OpenAI — они не ожидали, что так быстро получится за полгода с релиза GPT-4 дойти до этой точки.

—————————————————

При этом возможно что кадровые перестановки в OpenAI как-то связаны с последней новостью выше — Sam узнал, что AGI как будто бы достигнут, и принял решение не анонсировать это, а изменить способ оценки/задачи в бенчмарке/поднять планку и, возможно, скрыть от части компании.

Обратите внимание, что последние 2 блока у меня идут под эгидой «спекуляции над слухами», и их не нужно воспринимать на 100%.

2023-11-19 06:13:59

Ну раз такое дело...

(уже было)

2023-11-19 06:09:12

Sama пишет как любит команду OpenAI. Неужели люди устроили массовый исход, если его не вернут?

Сотрудники начали массово репостить этот твит с комментарием в виде сердечка, список всех отметившихся можно посмотреть в профиле Engineering Manager ChatGPT тут (он их всех репостит) — уже больше 50.

50 минут назад Jimmy Apples, который считается инсайдером, так как нет-нет да и пишет про внутрянку OpenAI, написал «It is done».

Про связь Sama и сотрудников — он до сих пор собеседовал каждого лично (после прохождения всех технических раундов, конечно), с каждым имел какой-то диалог или историю. Вот бывший коллега отзывается от нём в подобном ключе.

2023-11-18 22:53:54

Я такое не пощу, НО ТУТ ТАКОЕ ДЕЛО

TheVerge:
Breaking: OpenAI board in discussions with Sam Altman to return as CEO

UPD: Источник, близкий к Sam Altman, говорит, что совет директоров в принципе согласился уйти в отставку и позволить ему и Greg Brockman вернуться, но с тех пор колеблется. И они пропустили крайний срок в 17:00 PT, после которого «многие сотрудники OpenAI должны были уйти в отставку». Если Альтман решит уйти и основать новую компанию, эти сотрудники наверняка пойдут с ним.

2023-11-18 21:28:12

Scott Manley (ютубер-астрофизик и популяризатор космоса) выпустил видео с разбором полёта, где проанализировал возможные проблемы.

Он заметил, что при разделении ступеней скорость первой начала уменьшаться, то есть она получила отрицательное ускорение (из-за давления работающих двигателей корабля). Это плохо в том случае, если у вас есть огромные баки с топливом, где жидкости осталось чуть-чуть: она начинает бултыхаться и оседать не на дне, а на стенках или вообще где попало.

В свою очередь, система работает так: в баки во время работы закачивается газ, вытесняющий и "прижимающий" топливо, но этот газ не предназначен для попадания в трубки системы забора топлива. Если вместо жидкости туда пойдет газ — двигатели выйдут из строя или взорвутся.

(прим.: тут я не разбираюсь, я не слышал про такой газ для общего бака, только для маленьких, предназначенных для посадки корабля. А где тогда хранятся сотни кубометров газа во время заправки? UPD: мне подсказали, что это газ из газогенераторов двигателей)

Вторая версия: система подачи топлива с учётом всех 33 двигателей перекачивает тонны жидкостей в секунду, и если двигатели начать отключать (происходит перед разделением), то топливо в трубах сохранит импульс, и может создать бОльшее давление, чем заложено в системе. Такое, кстати, случилось в четвертом (последнем) запуске советской H1 — при отключении части двигателей на подходе к точке разделения ступеней. Это привело к разрыву шлангов, возгоранию и/или взрыву двигателей. Это видно по телеметрии — сначала не включился один двигатель, затем они начали отсреливать по одному, и в последние 2 секунды ещё 6 (прямо перед взрывом).

При этом, несмотря на неразбериху под юбкой двигательного отсека и судя по записи, взрыв произошёл в центре ускорителя. Это может указывать на подрыв системы прекращения полёта, но не 💯%.

——————

С кораблём сложнее, так как потенциально проблемы начались на высоте больше 140 километров. Что Scott заметил, так это что жидкий кислород во время первых минут работы двигателей убывал медленнее, чем метан, а после 7:00 начал падать быстрее — и это сопровождается заметными на видео выбросами топлива в воздух. Возможно, утечка или неисправность двигателей, приведшие к взрыву/самоподрыву корабля.

——————

В любом случае:
— пуск успешен
— ждём результатов расследования SpaceX
— надеемся, что до следующего запуска мы доберёмся куда быстрее! 🚀

2023-11-18 13:36:49

После этого запуска программа Starship продвинулась дальше, чем советкая H-1.

Очень хотелось бы увидеть третий запуск до конца года

2023-11-18 13:29:12

Главные результаты:
✅ отрыв от стола произошёл быстрее, чем в прошлый раз. Мы не видели фото с места событий, но предполагаемо урона площадке нанесено куда меньше, чем весной.
✅ все 33 двигателя работали от первой до последней секунды, ни один не был потерян. Это само по себе великое достижение, так как многие критиковали программу за подражание советской и никогда не дошедшей до орбиты H1
✅ разделение корабля и ускорителя прошло номинально, после нескольких минут полёта Starship имел расчётную орбиту, то есть от проблем с подрывом бустера он никак не пострадал

Вероятно, следующая цель уже будет раздельной:
— для бустера долететь до воды
— для корабля сойти с орбиты (но может сгореть в процессе)

Прикерплённое видео — момент разделения ступеней.

2023-11-18 13:06:07

Успешное разделение

Бустер взорвался через 15 секунд после разделения, пригорел малясь)

Корабль не пострадал — траектория номинальная. Через несколько минут он выйдет на орбиту и отключит движки.

UPD: движки отключились чуть раньше, чем должны были по таймлайну, однако на трансляции сказали что орбита номинальная. После этого была потеряна связь с кораблем, телеметрия не передавалась. Возможно, корабль ещё жив и с ним все ок, но скорее всего нет.

2023-11-18 13:03:20

Все двигатели работают

2023-11-18 13:02:22

Счётчик был остановлен за 40 секунд до запуска, как и в прошлый раз. Это нормально, команда производит последние проверки. В прошлый раз это заняло 20 минут, в это раз из-за ограничений пускового окна время не должно превышать 15 минут. В X SpaceX написали, что «All systems continue to look good».

ЗАПУСТИЛИ, 30 секунд готовность.

2023-11-18 12:27:33

На X (Twitter) началась официальная трансляция (1, 2).

Неофициальные альтернативные трансляции:
1) Everyday Astronaut
2) Рестрим с задержкой 20 секунд
3) Трансляция на русском

Чего ждать при запуске:
— За 10 секунд до запуска начнёт работать водная система под ракетой
— За 3 секунды до запуска будут запущены 33 двигателя первой ступени
— Через 2 секунды после запуска аппарат должен оторваться от стартового стола
— Через 52 секунды после старта, Starship пройдёт этап максимального сопротивления
— Через 2 минуты 39 секунд после старта отключатся 30 двигателей
— Через 2 минуты 41 секунд после старта корабль включит 3 двигателя для отделения от ускорителя

Через 10-15 секунд после этого, если всё пройдет штатно, миссию уже можно будет назвать успешной, ибо разделение ступеней — основная цель запуска.

2023-11-18 07:47:26

Greg написал, что они с Sam всё ещё пытаются понять, что произошло. Sam накануне получил приглашение на рабочий созвон с Ilya Sutskever на полдень пятницы. Там при поддержке совета директоров было анонсировано решение об увольнении. 28 минут спустя был опубликован твит со ссылкой на страницу компании с публичным анонсом.

Greg получил приглашение на созвон в 12:19, где он узнал про своё понижение (Brockman не был уволен) и увольнение Sam в 12:23 (то есть первый разговор продлился меньше 20 минут).

В твите также указывается, что «насколько мы [прим.: Sam and Greg] знаем, Мира узнала про это накануне вечером».

Также, по информации источников журналистики Kara Swisher, в Microsoft про процесс увольнения ничего не знали, и были уведомлены буквально за несколько минут до публичного релиза.

Согласно изданию TheInformation, OpenAI также покинули по собственному желанию:
— Jakub Pachocki, director of research
— Aleksander Madry, руководитель отдела оценки рисков AI (помните, я писал про него, он ещё из MIT ушёл на время?)
— Szymon Sidor, ведуший исследователь, проработавший в OpenAI 7 лет

2023-11-18 00:10:59

GDB тоже покидает компанию. Greg был первым CTO в OpenAI, после чего стал её президентом и председателем совета директоров.

До того, как соосновать OpenAI в 2015м году, он был CTO Stripe (с первых дней), и его состояние оценивалось в ~$50M. Не пропадёт, конечно, но не пропадём ли без него мы😔...

2023-11-17 21:49:25

Даслёз🐈...

👋

2023-11-17 19:14:34

Так как запуск перенесли на завтра (16:00 мск), то давайте сегодня вечером попрокрастинируем в YouTube.

К 25-летию первой Half-Life компания Valve выпустила часовой документальный фильм. В нём взрослые бородатые сурьёзные мужики рассказывают, как они тогда, четверть века назад, молодые, креативные и амбициозные строили своё детище. Что-то в этой рефлексии есть, и грустно, и радостно одновременно.

Игра до сих пор занимает лидирующие строчки в рейтингах лучших игр. Например, сейчас на Metacritic крепко держит второе место на PC. Отличительными чертами игры были заскриптованные сцены, не отрывающие игрока от геймплея (вместо катсцен), и передаваемое через них повествование (достаточно крепкого по тем временам качества). Игра считается одной из самых влиятельных First-Person-Shooter и одной из величайших видеоигр, когда-либо созданных. Именно на базе модификаций к ней потом появятся Counter-Strike и десятки менее именитых проектов.

Удивительное:
— все звуки и музыку в игре сделал один человек
— звук хэдкраба — это звук крыс
— почти все текстуры сделал один человек (гораздо больше половины)
— код движка Quake получили с рук без всяких документов, просто на доверии
— демо первых 3 уровней утекло, и игроки/журналы начали его хвалить: это помогло отвалидировать идею и удостоверитсья, что компания движется в нужном направлении
— уровень камеры для каскадного резонанса (и все действа) были сделаны за 1 день

2023-11-17 10:46:02

👀

2023-11-16 17:52:25

ℹ️ Вторая работа — ужас фоторедакторов: Emu Edit, многозадачная модель для редактирования изображений, задающая новый уровень развития технологии. Может делать редактирование на основе выделенного региона и без него (просто по текстовому запросу), а может делать детекцию и сегментацию — и всё это сформулировано при обучении как генеративные задачи 😱

😎

2023-11-16 17:35:26

Полутораминутная нарезка генераций модели.

Осторожно, можно залипнуть!

2023-11-16 17:32:07

В продолжение темы модели Emu от Facebook — теперь анонсировано ещё два «сиквела».

ℹ️Первый — Emu Video. Как можно догадаться по названию, генерирует коротенькое видео по текстовому запросу. По замерам Facebook в сравнении с другими работами, коммерческими и открытыми — люди оценивают качество работы нового метода куда лучше. Причём, для сравнения, если применимо, брались официально опубликованные материалы, которые скорее всего были получены не с первого раза, то есть "честный" замер показал бы ещё больший разрыв.

📈 Сравнение Emu Video VS Runaway Gen2 по качеству видео 78.5% : 21.5%, то есть прям ооочень существенное.

Процесс генерации делится на три этапа:
1️⃣ генерация первого кадра (изображения) с учетом промпта (тут используется базовая модель Emu)
2️⃣ генерация ключевых кадров видео
3️⃣ генерация промежуточных кадров

Причём, можно подложить и своё фото вместо выполнения первого шага!

🕸 Oфициальный сайт

2023-11-16 08:37:16

Появилась запись 2023 Hawking Fellowship Award. Её ежегодно (с 2017го) присуждают человеку, внесшему исключительный вклад в области STEM (Science, Technology, Engineering, and Mathematics) и социальный дискурс. Впервые награду получила компания — OpenAI, но за всех отдувался её CEO Sam Altman.

Церемония проходит следующим образом: объявляется причина выбора, благодарственные слова, затем награждённый даёт речь, после чего начинается секция вопросов-ответов, в том числе и голосами из зала. Большого количества новой информации у меня для вас нет, большинство топиков были затронуты в канале ранее. Однако ниже приведу поледний вопрос и ответ Sam, так как эта тема в большей степени проходит нитью через разные интервью, но я её не описывал.

Вопрос:
— Я ни в коем случае не являюсь экспертом в ИИ, так что поправьте меня, если я ошибаюсь, но самый большой скачок вперед за последнее десятилетие в плане достижения подобия AGI — это LLM типа ChatGPT. <...> Мне показалось вы сказали, что есть очевидные недостатки, из-за которых кажется, что это не совсем AGI, хоть технология и впечатляет. Мне интересно, думаете ли вы, что шаг по направлению к AGI заключается в том, что мы продолжаем использовать LLM, или нужен ещё один прорыв, который мы пока не обнаружили?

Ответ:
— Я думаю, нам нужен еще один прорыв. Но мы все еще можем выжать из LLM довольно много, и мы сделаем это. Если посмотреть на "холм" технологий, по которому мы продвигаемся, то до вершины все ещё очень далеко. Возможно, если мы зайдём супер-супер далеко с этой технологией, то что-то новое вдруг проявится. Но я не думаю, что это поможет нам достичь чего-то, что я после критического анализа назвал бы AGI.
<Чтобы придерживаться примера, приведённого ранее> Давайте сейчас будем использовать слово "суперинтеллект". Если суперинтеллект не может сделать научное открытие в физике, то я не думаю, что это суперинтеллект. Тренировка на данных с целью клонирования поведения людей — не думаю, что это позволит достичь суперинтеллекта. Поэтому уже давно обсуждается вопрос: а что нам нужно сделать в дополнение к LLM для создания системы, которая сможет свершать открытия? И это будет нашим следующим квестом.

Обратите внимание, что Sam отошёл от своего каноничного определения AGI (высокоавтономные системы, которые превосходят людей в большинстве экономически ценных задач) и говорит про ASI. Ранее Ilya Sutskever говорил, что конкретно до такого определения AGI мы и на LLM дойдём, это "очевидно".

Вот такой фокус на науку нас ждёт в ближайшие годы — будут появляться бенчмарки для оценки моделей по разным направлениям, и, как я говорил в своей лекции, в ближайшее время (~2 года) от OpenAI я больше всего жду статью с названием в духе "Автономный AI агент нашёл/доказал новую теорему/закон".

2023-11-15 21:37:46

На побережье стоит самурай,
Новый рассвет ждёт.
Трудный бой предстоит.

2023-11-15 21:21:39

Мальчики и девочки, оформляйте отгул после обеда в пятницу 🚀

Разрешение от Рыбнадзора, а затем и полётная лицензия от FAA были получены. Перекрытия объявлены с 16:00 до 18:39 по МСК. Прогноз погоды пока благоприятный.

В целом всё готово, система находится в разобранном состоянии — между кораблём и ускорителем вставляют прокладку-кольцо (на фото) с большим количеством отверстий: через них будут выходить газы от трёх двигателей Starship при разделении ступеней.

Основные цели миссии изменились с прошлого раза. Тогда было важно просто взлететь и отлететь от пусковой вышки, сейчас же — пройти разделение ступеней (начнётся через 2:41 после запуска). Если повезёт (С), то через 8:33 корабль выйдет на орбиту.

UPD: запуск перенесён на субботу. В пятницу гуляем

2023-11-15 07:22:49

Ровно год назад, за 2 недели до анонса ChatGPT, Facebook AI Research запустили модель Galactica. Она была натренирована, в основном, на научной литературе и статьях, относительно нетоксичной (я из головы даже вспомнить примеров таких не могу), и тоже поддерживала режим чата — даже отдельный сайт был с интерфейсом для общения. Самая большая версия на 30 миллиардов параметров была выложена в открытый доступ и доступна до сих пор.

А дальше...её отменили. Да, люди в твиттере заканцеллили нейросеть, так бывает. Видные пользователи, не знакомые с AI, начали показывать галлюцинации модели, неточности ответов и ошибки в математике. Так как Galactica была сделана с упором на науку — и даже выигрывала некоторые бенчмарки у куда больших моделей (PaLM/Chinchilla) — то научное сообщество посчитало, что это критично. Мол, люди начнут генерировать сотни страниц статей, в них будут десятки ошибок, или что куда страшнее единицы едва заметных. В итоге, META решили свернуть демо. А через 2 недели вышла Chad GPT, не испугавшись такой критики, и вот мы в точке, где OpenAI + Microsoft не хватает рерурсов на поддержание спроса и неблокирование своих исследований — настолько продукт стал популярным.

В Twitter первый автор статьи написал рефлексию из 10 пунутов про то, что было сделано не так и как надо: тык.

Выборочные тезисы:
— Мы были перегружены и потеряли situational awareness при запуске, выпустив демо базовой модели без проверок. Мы знали о потенциальной критике, но упускали из виду очевидное из-за рабочей нагрузки, под которой мы находились.
— Одной из идей при создании демо было то, что мы хотели понять распределение научных запросов, которые люди будут использовать для LLM (для дальнейшего дообучения RLHF). Очевидно, вместо этого модели задавали любые вопросы, не только в домене. Да, нам следовало подумать лучше.
— Ошибка с нашей стороны заключалась в том, что люди относились к сайту как к *продукту*.
— Комментарии против Galactica были действительно глупыми, но мы не должны были допустить того, что случилось, даже если бы запуск прошёл лучше.

Помянем 🤗🕯

Кстати, а где Google?

2023-11-14 12:10:11

Немного продолжим день карьеры 🙂

Попалось под руку видео Don't Do Invisible Work

Если вы работаете в сколь-нибудь адекватной компании, пусть даже не технической, то в ней существуют процессы оценки вашей работы.

В техе это: регулярные перформанс ревью, промоушены и бонусы. К сожалению, они основаны на том, что другие люди помнят о вас и о вашей работе. И если о работе никто не помнит — то и оценивать по ней никто не будет. А как легко догадаться, люди в целом плохи в запоминании разных вещей, особенно если это руководитель с десятком обязанностей и столькими же подчинёнными.

Решени очень простое: записывать, что вы сделали, какой результат это принесло, и рассказывать об этом другим. Причём очевидно, что за вас это никто не сделает — ну разве что в очень редких ситуациях босс, если вы любимчик.

Мне вот не повезло — этот урок я получил от Валеры @cryptovalerii, когда пришёл в Яндекс. После первого месяца он спросил меня, что я сделал (а я не очень складно то и рассказал). Сказал, нужно записывать, и что через 4 месяца будет ревью, и он спросит ещё раз. В назначенный срок я получил запрос, и вот представьте насколько другой была бы выходная бумага, если б я пытался что-то впопыхах вспомнить по памяти!

-----

Стоит думать об этом в таком ключе: если в любой момент времени вашего руководителя спрашивают "а что сделал X?", то у него есть несколько примеров (не один), как он может ответить конкретикой. Понятно, что если все такие умные будут, то начнётся борьба за внимание, но это, обычно, не светит до уровня С-1/C-2.

2023-11-14 11:11:54

30го ноября выступаю на конференции Global CIO Insights: Digital Transformation with AI

Доклад по теме «Opportunities in AI for Practitioners», расскажу про адаптацию AI продуктов в 2023м году, как не отставать от авангарда технологий (подписаться на Сиолошную

2023-11-14 08:19:40

Ой, я написал «по миллиону долларов в год получают»? Ну ошибся, бывает. Тут появились новости, что OpenAI переманивает ведущих исследователей из других лабораторий (в основном, из Google), предлагая им компенсацию в ДЕСЯТЬ МИЛЛИОНОВ (на горизонте 4 лет, выдыхаем).

Как? Предлагается рассчитать пакет опционов по старой оценке компании — $27 млрд. А текущие сотруники уже могут продать акции по оценке $80 млрд. А если через 3-4 года компания ещё разгонится и перевалит за 200-300B...вообще как сыр в масле можно кататься, продавая бумажечки.

Ещё есть информация, что OpenAI хочет забрать из Google разработчиков модели Gemini (конкурент GPT-4, про который говорят с весны, но его никто не видел). Им даже удалось переманить одного из руководителей проекта. Но Google не отстает, и тоже смог переманить нескольких лидов из OpenAI.

НАША БИТВА БУДЕТ ЛЕГЕНДАРНОЙ!


Источник (за пайволом)

2023-11-14 08:06:27

The Impact of Large Language Models on Scientific Discovery: a Preliminary Study using GPT-4

230-страничный отчёт исследователей Microsoft по применимости и навыкам GPT-4 в следующих направлениях:
— Drug Discovery
— Biology
— Computational Chemistry
— Materials Design
— Partial Differential Equations
, в каждом из которых ещё по 3-6 поднаправлений (например, предсказание свойств материалов или просто Q/A по теме в помощь исследователю).

Инсайтов, как и мелких деталей по каждому из топиков, слишком много, да и я не большой эксперт в каждой из областей. Если у вас есть релевантные навыки или просто очень хочется разобраться — для каждой секции есть Summary, по которому можно пройтись и сделать выводы.

Если совсем коротко:
— исследования показывают, что GPT-4 демонстрирует многообещающий потенциал (читай часто отвечает правильно или просто хорошо, но с недостатками и ошибками) для различных применений в науке, демонстрируя свою способность решать сложные задачи с применением доменных знаний.
— GPT-4 обладает обширными знаниями в областях Biology и Materials Design, которые могут помочь удовлетворить некоторые запросы в отдельных областях (но их нужно нащупать, и вдохновление для будущих исследолвателей как раз предлагается брать в настоящей работе). — В других областях, таких как Drug Discovery, GPT-4 демонстрирует способность достаточно хорошо предсказывать свойства веществ — в одном (из десятка+-) бенчмарке даже обходят доменное решение (но я так понял это не SotA).
— Для Computational Chemistry и Partial Differential Equations модели не хватает точности вычислений. В целом она математику понимает хорошо, но не может на лету делать вычисления — авторы намеренно не подключали к ней калькулятор, Wolfram или другие инструменты. Однако с их помощью, потенциально, можно добиться куда более значимых результатов.
— Ещё заметил, что почти везде промпты очень простые и прямые, буквально однострочные, может, из двух предложений. Кажется если давать больше контекста, то результаты улучшатся (ваш Кэп)
— Для отдельных доменов модель плохо разбирается с форматами данных (например, SMILES—способ описания состава и структуры молекулы—модель и парсит плохо, и генерирует не очень, и это мешает проводить эксперименты). Потенциально дообучение на корпусе знаний решает проблему, да и внешние инстурменты тоже должны разгрузить LLM.

Что мне куда интереснее, так это то, а сколько и каких таких бенчмарков уже есть в OpenAI — ведь для них сейчас одна из главных задач это буквально создать систему с LLM в сердце, которая будет ЗАМЕНЯТЬ ИССЛЕДОВАТЕЛЕЙ В OPENAI (да-да, тех, которые по миллиону долларов в год получают). Если вы про это ничего не слышали, то предлагаю посмотреть мою лекцию.

А в комментарии приглашаются эксперты с доменными знаниями по упомянутым направлениям — делитесь, если нашли что-то интересное!

2023-11-13 23:01:41

На ночь глядя OpenAI выложили 5 видеозаписей с конференции DevDay — это были выступления после блока анонсов от Sam Altman. Утром посмотрю и к вечеру сделаю обзор, но не могу вам запретить обогнать меня и насладиться контентом:

1. Research x Product (19 min)
2. New Products: A Deep Dive (45 min)
3. The New Stack and Ops for AI (34 min)
4. A Survey of Techniques for Maximizing LLM Performance (45 min)
5. The Business of AI (43 min)

Именно фотографии слайдов с этих выступлений гуляли по сети, а я переживал, выложат ли доклады или нет? Пример вы можете увидеть на прикреплённой картинке (4й доклад).

UPD: комментариев нет потому что я случайно удалил пост из чата, и это удаляет комменты

2023-11-11 18:33:52

SpaceX объявили, что нацелены на пуск Starship 17го ноября

👏

😐