Нейролента Mikitos.ru 2736 постов. Страница 31 (50 постов)
Neural Shit 2023-11-19 12:13:41
Киберпанк, который мы заслужили
Сиолошная 2023-11-19 06:13:59
Ну раз такое дело...
(уже было)
Сиолошная 2023-11-19 06:09:12
Sama пишет как любит команду OpenAI. Неужели люди устроили массовый исход, если его не вернут?
Сотрудники начали массово репостить этот твит с комментарием в виде сердечка, список всех отметившихся можно посмотреть в профиле Engineering Manager ChatGPT тут (он их всех репостит) — уже больше 50.
50 минут назад Jimmy Apples, который считается инсайдером, так как нет-нет да и пишет про внутрянку OpenAI, написал «It is done».
Про связь Sama и сотрудников — он до сих пор собеседовал каждого лично (после прохождения всех технических раундов, конечно), с каждым имел какой-то диалог или историю. Вот бывший коллега отзывается от нём в подобном ключе.
Сиолошная 2023-11-18 22:53:54
Я такое не пощу, НО ТУТ ТАКОЕ ДЕЛО
TheVerge:
Breaking: OpenAI board in discussions with Sam Altman to return as CEO
UPD: Источник, близкий к Sam Altman, говорит, что совет директоров в принципе согласился уйти в отставку и позволить ему и Greg Brockman вернуться, но с тех пор колеблется. И они пропустили крайний срок в 17:00 PT, после которого «многие сотрудники OpenAI должны были уйти в отставку». Если Альтман решит уйти и основать новую компанию, эти сотрудники наверняка пойдут с ним.
Сиолошная 2023-11-18 21:28:12
Scott Manley (ютубер-астрофизик и популяризатор космоса) выпустил видео с разбором полёта, где проанализировал возможные проблемы.
Он заметил, что при разделении ступеней скорость первой начала уменьшаться, то есть она получила отрицательное ускорение (из-за давления работающих двигателей корабля). Это плохо в том случае, если у вас есть огромные баки с топливом, где жидкости осталось чуть-чуть: она начинает бултыхаться и оседать не на дне, а на стенках или вообще где попало.
В свою очередь, система работает так: в баки во время работы закачивается газ, вытесняющий и "прижимающий" топливо, но этот газ не предназначен для попадания в трубки системы забора топлива. Если вместо жидкости туда пойдет газ — двигатели выйдут из строя или взорвутся.
(прим.: тут я не разбираюсь, я не слышал про такой газ для общего бака, только для маленьких, предназначенных для посадки корабля. А где тогда хранятся сотни кубометров газа во время заправки? UPD: мне подсказали, что это газ из газогенераторов двигателей)
Вторая версия: система подачи топлива с учётом всех 33 двигателей перекачивает тонны жидкостей в секунду, и если двигатели начать отключать (происходит перед разделением), то топливо в трубах сохранит импульс, и может создать бОльшее давление, чем заложено в системе. Такое, кстати, случилось в четвертом (последнем) запуске советской H1 — при отключении части двигателей на подходе к точке разделения ступеней. Это привело к разрыву шлангов, возгоранию и/или взрыву двигателей. Это видно по телеметрии — сначала не включился один двигатель, затем они начали отсреливать по одному, и в последние 2 секунды ещё 6 (прямо перед взрывом).
При этом, несмотря на неразбериху под юбкой двигательного отсека и судя по записи, взрыв произошёл в центре ускорителя. Это может указывать на подрыв системы прекращения полёта, но не 💯%.
——————
С кораблём сложнее, так как потенциально проблемы начались на высоте больше 140 километров. Что Scott заметил, так это что жидкий кислород во время первых минут работы двигателей убывал медленнее, чем метан, а после 7:00 начал падать быстрее — и это сопровождается заметными на видео выбросами топлива в воздух. Возможно, утечка или неисправность двигателей, приведшие к взрыву/самоподрыву корабля.
——————
В любом случае:
— пуск успешен
— ждём результатов расследования SpaceX
— надеемся, что до следующего запуска мы доберёмся куда быстрее!
gonzo-обзоры ML статей 2023-11-18 19:39:44
Кое-какое саммари событий на текущий момент
https://arstechnica.com/information-technology/2023/11/report-sutskever-led-board-coup-at-openai-that-ousted-altman-over-ai-safety-concerns/
Neural Shit 2023-11-18 17:13:25
Пусть ChatGPT назначат на эту должность
Сиолошная 2023-11-18 13:36:49
После этого запуска программа Starship продвинулась дальше, чем советкая H-1.
Очень хотелось бы увидеть третий запуск до конца года
UPD: в комментарии пришли люди, которые не поняли смысл поста. Поясню: самая главная критика Starship (кроме того, что программой руководит ничего-не-умеющий Elon Musk) заключалась в том, что ракеты с большим количеством двигателей не летают. Больше двигателей — больше риск, что что-то пойдет не так. Космоэксперты в твиттере каждый раз вспоминали советскую программу как пример того, что это глупая идея, делать 33 двигетеля. Теперь сравнение не уместно абсолютно (адекватным людям оно конечно и в голову не приходило, сравнивать всерьёз и строить анализ на основе технологии 50-летней давности).
Сиолошная 2023-11-18 13:29:12
Главные результаты:
✅ отрыв от стола произошёл быстрее, чем в прошлый раз. Мы не видели фото с места событий, но предполагаемо урона площадке нанесено куда меньше, чем весной.
✅ все 33 двигателя работали от первой до последней секунды, ни один не был потерян. Это само по себе великое достижение, так как многие критиковали программу за подражание советской и никогда не дошедшей до орбиты H1
✅ разделение корабля и ускорителя прошло номинально, после нескольких минут полёта Starship имел расчётную орбиту, то есть от проблем с подрывом бустера он никак не пострадал
Вероятно, следующая цель уже будет раздельной:
— для бустера долететь до воды
— для корабля сойти с орбиты (но может сгореть в процессе)
Прикерплённое видео — момент разделения ступеней.
эйай ньюз 2023-11-18 13:23:34
Ситуация с Альтманом, конечно, интересная. Но я не спал до 6 утра не поэтому. А потому что сегодня утром был дедлайн подачи статей на CVPR 2024.
В этот раз я немного расслабился и не сидел до 9 утра, как в былые времена. Студент хорошо поработал, и команда на этом проекте была довольно большая, поэтому статья была уже на 99% готова заранее, и можно было со спокойной совестью идти отсыпаться.
Вообще работа Research Scientist-а — это такие дедлайны с написанием статей минимум два раза в год.
Кроме экспериментов, мне реально нравится именно процесс написания текста и выкристализовывания самой идеи статьи, оттачивая фразы и слова. Начинаешь с набора малосвязанных предложений и после каждого прохода по тексту видишь, как статья постепенно приобретает форму. А затем читаешь и дивишься, как за несколько дней с пустого листа вырастает такая красота. Главное не забыть вставить картинку на первую страницу — она должна привлекать внимание.
Итого, дедлайн для меня служит поводом поставит финальую точку если не во всём проекте, то хотя в одной из его глав.
Теперь можно опять следить за Альтманом
@ai_newz
Сиолошная 2023-11-18 13:06:07
Успешное разделение
Бустер взорвался через 15 секунд после разделения, пригорел малясь)
Корабль не пострадал — траектория номинальная. Через несколько минут он выйдет на орбиту и отключит движки.
UPD: движки отключились чуть раньше, чем должны были по таймлайну, однако на трансляции сказали что орбита номинальная. После этого была потеряна связь с кораблем, телеметрия не передавалась. Возможно, корабль ещё жив и с ним все ок, но скорее всего нет.
Сиолошная 2023-11-18 13:03:20
Все двигатели работают
Сиолошная 2023-11-18 13:02:22
Счётчик был остановлен за 40 секунд до запуска, как и в прошлый раз. Это нормально, команда производит последние проверки. В прошлый раз это заняло 20 минут, в это раз из-за ограничений пускового окна время не должно превышать 15 минут. В X SpaceX написали, что «All systems continue to look good».
ЗАПУСТИЛИ, 30 секунд готовность.
Сиолошная 2023-11-18 12:27:33
На X (Twitter) началась официальная трансляция (1, 2).
Неофициальные альтернативные трансляции:
1) Everyday Astronaut
2) Рестрим с задержкой 20 секунд
3) Трансляция на русском
Чего ждать при запуске:
— За 10 секунд до запуска начнёт работать водная система под ракетой
— За 3 секунды до запуска будут запущены 33 двигателя первой ступени
— Через 2 секунды после запуска аппарат должен оторваться от стартового стола
— Через 52 секунды после старта, Starship пройдёт этап максимального сопротивления
— Через 2 минуты 39 секунд после старта отключатся 30 двигателей
— Через 2 минуты 41 секунд после старта корабль включит 3 двигателя для отделения от ускорителя
Через 10-15 секунд после этого, если всё пройдет штатно, миссию уже можно будет назвать успешной, ибо разделение ступеней — основная цель запуска.
gonzo-обзоры ML статей 2023-11-18 11:26:06
https://twitter.com/gdb/status/1725736242137182594?t=WT0gYqCgUxD1wRMe_LXayg&s=19
gonzo-обзоры ML статей 2023-11-18 09:54:34
Скандалы, интриги, расследования
https://www.forbes.com/sites/alexkonrad/2023/11/17/these-are-the-people-that-fired-openai-ceo-sam-altman/
Neural Shit 2023-11-18 08:49:17
А вот если кому-то надо, подобное на Stable DIffusion.
Довольно быстро и неплохо генерит панорамы в 360°.
Github | Модель | Colab
Сиолошная 2023-11-18 07:47:26
Greg написал, что они с Sam всё ещё пытаются понять, что произошло. Sam накануне получил приглашение на рабочий созвон с Ilya Sutskever на полдень пятницы. Там при поддержке совета директоров было анонсировано решение об увольнении. 28 минут спустя был опубликован твит со ссылкой на страницу компании с публичным анонсом.
Greg получил приглашение на созвон в 12:19, где он узнал про своё понижение (Brockman не был уволен) и увольнение Sam в 12:23 (то есть первый разговор продлился меньше 20 минут).
В твите также указывается, что «насколько мы [прим.: Sam and Greg] знаем, Мира узнала про это накануне вечером».
Также, по информации источников журналистики Kara Swisher, в Microsoft про процесс увольнения ничего не знали, и были уведомлены буквально за несколько минут до публичного релиза.
Согласно изданию TheInformation, OpenAI также покинули по собственному желанию:
— Jakub Pachocki, director of research
— Aleksander Madry, руководитель отдела оценки рисков AI (помните, я писал про него, он ещё из MIT ушёл на время?)
— Szymon Sidor, ведуший исследователь, проработавший в OpenAI 7 лет
Сиолошная 2023-11-18 00:10:59
GDB тоже покидает компанию. Greg был первым CTO в OpenAI, после чего стал её президентом и председателем совета директоров.
До того, как соосновать OpenAI в 2015м году, он был CTO Stripe (с первых дней), и его состояние оценивалось в ~$50M. Не пропадёт, конечно, но не пропадём ли без него мы
gonzo-обзоры ML статей 2023-11-17 22:49:21
Вона как!
"Mr. Altman’s departure follows a deliberative review process by the board, which concluded that he was not consistently candid in his communications with the board, hindering its ability to exercise its responsibilities. The board no longer has confidence in his ability to continue leading OpenAI."
https://openai.com/blog/openai-announces-leadership-transition
Сиолошная 2023-11-17 21:49:25
Даслёз
Сиолошная 2023-11-17 19:14:34
Так как запуск перенесли на завтра (16:00 мск), то давайте сегодня вечером попрокрастинируем в YouTube.
К 25-летию первой Half-Life компания Valve выпустила часовой документальный фильм. В нём взрослые бородатые сурьёзные мужики рассказывают, как они тогда, четверть века назад, молодые, креативные и амбициозные строили своё детище. Что-то в этой рефлексии есть, и грустно, и радостно одновременно.
Игра до сих пор занимает лидирующие строчки в рейтингах лучших игр. Например, сейчас на Metacritic крепко держит второе место на PC. Отличительными чертами игры были заскриптованные сцены, не отрывающие игрока от геймплея (вместо катсцен), и передаваемое через них повествование (достаточно крепкого по тем временам качества). Игра считается одной из самых влиятельных First-Person-Shooter и одной из величайших видеоигр, когда-либо созданных. Именно на базе модификаций к ней потом появятся Counter-Strike и десятки менее именитых проектов.
Удивительное:
— почти все текстуры сделал один человек (гораздо больше половины)
— код движка Quake получили с рук без всяких документов, просто на доверии
— демо первых 3 уровней утекло, и игроки/журналы начали его хвалить: это помогло отвалидировать идею и удостоверитсья, что компания движется в нужном направлении
— уровень камеры для каскадного резонанса (и все действа) были сделаны за 1 день
Denis Sexy IT 🤖 2023-11-17 17:47:37
Я иногда пишу, что большие языковые модели будут в каждом тостере через пару лет – это только от части ирония, в видео разработчик запихнул языковую модель на 15М параметров в микроконтроллер стоимостью в ~$80.
Пишет она со скоростью ~2.5 токена в секунду, что уже можно считать нормальной скоростью.
Самое взрывающее мозг – в микроконтроллере всего 64 мегабайта оперативной памяти
Инструкция | Автор | Девайс
Phi 2 has joined the chat
gonzo-обзоры ML статей 2023-11-17 17:30:41
Свежие слухи -- OpenAI начали работать над GPT-5
https://twitter.com/rowancheung/status/1724079608054812684?t=3Fs3ELPj6JKQH6pcYSHZuw&s=19
gonzo-обзоры ML статей 2023-11-17 09:24:38
С генерацией картинок и текстов уже давно всё хорошо и мейнстрим, а музыка с видео пока отставали. Вот теперь Deepmind взялся за музыку:
https://deepmind.google/discover/blog/transforming-the-future-of-music-creation/
эйай ньюз 2023-11-16 19:15:28
Воторой релиз от Meta GenAI - Emu Edit, про редактирование изображений на стероидах с помощью диффузии.
Моделька тоже основана на базовой модели Emu.
Более детально опишу позже, сейчас нужно заняться экспериментами, чтобы видюхи ночь не прозябали.
Пока просто прикрепляю тизер с результатами редактирования по текстовому промпту.
@ai_newz
эйай ньюз 2023-11-16 18:41:27
🔥EMU VIDEO:
Factorizing Text-to-Video Generation by Explicit Image Conditioning
Сегодня сразу два больших релиза от моих коллег из Meta GenAI! Один из них — опубликовали модель EMU-Video.
Новая модель строится на базе Text-2-image модели Emu, и теперь может генерить 4-секундные видео 512x512 в 16 fps.
Архитектура, грубо: мы берем pre-trained 2.7B Emu для генерации text-2-image, замораживаем Unet и добавляем в него дополнительные аттеншен слои, которые работают вдоль врменной оси. И тренируем только доп слои, на генерацию видео по тексту.
На вход даём либо картинку + текст, либо только текст (в этом случае картинку генерим с помощью Emu). На выходе — 65 фрейма 512x512.
Если погрузиться в детали, то сначала генерится 16 фреймов, а затем ещё одна модель с такой же архитектурой интерполирует видео до 65 фреймов.
Это теперь SOTA в text-2-video:
Сайт проекта
Демо-результаты
@ai_newz
Сиолошная 2023-11-16 17:52:25
В общем, ждём в инстаграме!
Сиолошная 2023-11-16 17:35:26
Полутораминутная нарезка генераций модели.
Осторожно, можно залипнуть!
Сиолошная 2023-11-16 17:32:07
В продолжение темы модели Emu от Facebook — теперь анонсировано ещё два «сиквела».
Процесс генерации делится на три этапа:
Причём, можно подложить и своё фото вместо выполнения первого шага!
На приложенной гифке: An origami brown bear skateboarding under water, in steampunk style
эйай ньюз 2023-11-16 15:16:50
Количество конкуренции у NVIDIA возрастает с каждым месяцем. Все хотят контролировать технологию, начиная от собственных чипов и заканчивая своей собственной нейросетью. What a time to be alive
П.с. на картинках - живые серверные рэки с чипами Maia.
@ai_newz
Neural Shit 2023-11-16 12:35:02
Курс по основам Python — это ваш шанс начать путь к успешной карьере в IT-сфере.
Почему Python? Он лидирует в рейтинге языков программирования. Например, такие гиганты, как Uber, Google и Netflix, активно используют его при разработке и тестировании.
Попробуйте себя в роли Python-разработчика прямо сейчас!
На курсе вы:
— напишете первую программу на языке Python;
— научитесь работать с переменными, строками, числами, вводить и выводить данные в программе;
— напишете Telegram-бота для турагентства и сможете начать карьеру в разработке.
В ЧЕРНУЮ ПЯТНИЦУ на курс действует скидка до 60% и при покупке вы получаете ВТОРОЙ КУРС в подарок 🎁 🎁 🎁
Не откладывайте в долгий ящик. Переходите по ссылке, чтобы получить доступ к курсу и сразу начать обучение:https://epic.st/1KU-i4
Реклама. ЧОУ ДПО «Образовательные технологии «Скилбокс (Коробка навыков)», ИНН: 9704088880
Сиолошная 2023-11-16 08:37:16
Появилась запись 2023 Hawking Fellowship Award. Её ежегодно (с 2017го) присуждают человеку, внесшему исключительный вклад в области STEM (Science, Technology, Engineering, and Mathematics) и социальный дискурс. Впервые награду получила компания — OpenAI, но за всех отдувался её CEO Sam Altman.
Церемония проходит следующим образом: объявляется причина выбора, благодарственные слова, затем награждённый даёт речь, после чего начинается секция вопросов-ответов, в том числе и голосами из зала. Большого количества новой информации у меня для вас нет, большинство топиков были затронуты в канале ранее. Однако ниже приведу поледний вопрос и ответ Sam, так как эта тема в большей степени проходит нитью через разные интервью, но я её не описывал.
Вопрос:
— Я ни в коем случае не являюсь экспертом в ИИ, так что поправьте меня, если я ошибаюсь, но самый большой скачок вперед за последнее десятилетие в плане достижения подобия AGI — это LLM типа ChatGPT. <...> Мне показалось вы сказали, что есть очевидные недостатки, из-за которых кажется, что это не совсем AGI, хоть технология и впечатляет. Мне интересно, думаете ли вы, что шаг по направлению к AGI заключается в том, что мы продолжаем использовать LLM, или нужен ещё один прорыв, который мы пока не обнаружили?
Ответ:
— Я думаю, нам нужен еще один прорыв. Но мы все еще можем выжать из LLM довольно много, и мы сделаем это. Если посмотреть на "холм" технологий, по которому мы продвигаемся, то до вершины все ещё очень далеко. Возможно, если мы зайдём супер-супер далеко с этой технологией, то что-то новое вдруг проявится. Но я не думаю, что это поможет нам достичь чего-то, что я после критического анализа назвал бы AGI.
<Чтобы придерживаться примера, приведённого ранее> Давайте сейчас будем использовать слово "суперинтеллект". Если суперинтеллект не может сделать научное открытие в физике, то я не думаю, что это суперинтеллект. Тренировка на данных с целью клонирования поведения людей — не думаю, что это позволит достичь суперинтеллекта. Поэтому уже давно обсуждается вопрос: а что нам нужно сделать в дополнение к LLM для создания системы, которая сможет свершать открытия? И это будет нашим следующим квестом.
Обратите внимание, что Sam отошёл от своего каноничного определения AGI (высокоавтономные системы, которые превосходят людей в большинстве экономически ценных задач) и говорит про ASI. Ранее Ilya Sutskever говорил, что конкретно до такого определения AGI мы и на LLM дойдём, это "очевидно".
Вот такой фокус на науку нас ждёт в ближайшие годы — будут появляться бенчмарки для оценки моделей по разным направлениям, и, как я говорил в своей лекции, в ближайшее время (~2 года) от OpenAI я больше всего жду статью с названием в духе "Автономный AI агент нашёл/доказал новую теорему/закон".
gonzo-обзоры ML статей 2023-11-15 21:56:38
Интересная новость.
https://www.hpcwire.com/2023/11/13/training-of-1-trillion-parameter-scientific-ai-begins/
Интересно даже не тем, что 1T модель обучают (если оно MoE, то бывали и побольше), а тем, что не на Нвидии это делают. Неужели реальная конкуренция наконец?
"Argonne National Laboratory (ANL) is creating a generative AI model called AuroraGPT and is pouring a giant mass of scientific information into creating the brain.
The model is being trained on its Aurora supercomputer, which delivers more than an half an exaflop performance at ANL. The system has Intel’s Ponte Vecchio GPUs, which provide the main computing power."
...
"Brkic said its Ponte Vecchio GPUs outperformed Nvidia’s A100 GPUs in another Argonne supercomputer called Theta, which has a peak performance of 11.7 petaflops."
Сиолошная 2023-11-15 21:37:46
На побережье стоит самурай,
Новый рассвет ждёт.
Трудный бой предстоит.
Сиолошная 2023-11-15 21:21:39
Мальчики и девочки, оформляйте отгул после обеда в пятницу
Разрешение от Рыбнадзора, а затем и полётная лицензия от FAA были получены. Перекрытия объявлены с 16:00 до 18:39 по МСК. Прогноз погоды пока благоприятный.
В целом всё готово, система находится в разобранном состоянии — между кораблём и ускорителем вставляют прокладку-кольцо (на фото) с большим количеством отверстий: через них будут выходить газы от трёх двигателей Starship при разделении ступеней.
Основные цели миссии изменились с прошлого раза. Тогда было важно просто взлететь и отлететь от пусковой вышки, сейчас же — пройти разделение ступеней (начнётся через 2:41 после запуска). Если повезёт (С), то через 8:33 корабль выйдет на орбиту.
UPD: запуск перенесён на субботу. В пятницу гуляем
Neural Shit 2023-11-15 18:12:36
Помощник для игры на пианино в смешанной реальности был, теперь настало время для помощника игре на гитаре. Эдакий Guitar Pro в MR
нашёл тут
Neural Shit 2023-11-15 17:34:48
В голос!
эйай ньюз 2023-11-15 11:58:28
Кажется, что OpenAI работает в дикий минус. Впрочем, это не такая уж и новость. Подумайте, учитывая размер полученных инвестиций (более $10 млрд с начала года), у них не хватает вычислительных ресурсов / денег на GPU, да так, что Альтман твитнул, что они временно приостанавливают рост платящих пользователей.
У меня по этому поводу несколько мыслей:
@ai_newz
Сиолошная 2023-11-15 07:22:49
Ровно год назад, за 2 недели до анонса ChatGPT, Facebook AI Research запустили модель Galactica. Она была натренирована, в основном, на научной литературе и статьях, относительно нетоксичной (я из головы даже вспомнить примеров таких не могу), и тоже поддерживала режим чата — даже отдельный сайт был с интерфейсом для общения. Самая большая версия на 30 миллиардов параметров была выложена в открытый доступ и доступна до сих пор.
А дальше...её отменили. Да, люди в твиттере заканцеллили нейросеть, так бывает. Видные пользователи, не знакомые с AI, начали показывать галлюцинации модели, неточности ответов и ошибки в математике. Так как Galactica была сделана с упором на науку — и даже выигрывала некоторые бенчмарки у куда больших моделей (PaLM/Chinchilla) — то научное сообщество посчитало, что это критично. Мол, люди начнут генерировать сотни страниц статей, в них будут десятки ошибок, или что куда страшнее единицы едва заметных. В итоге, META решили свернуть демо. А через 2 недели вышла Chad GPT, не испугавшись такой критики, и вот мы в точке, где OpenAI + Microsoft не хватает рерурсов на поддержание спроса и неблокирование своих исследований — настолько продукт стал популярным.
В Twitter первый автор статьи написал рефлексию из 10 пунутов про то, что было сделано не так и как надо: тык.
Выборочные тезисы:
— Мы были перегружены и потеряли situational awareness при запуске, выпустив демо базовой модели без проверок. Мы знали о потенциальной критике, но упускали из виду очевидное из-за рабочей нагрузки, под которой мы находились.
— Одной из идей при создании демо было то, что мы хотели понять распределение научных запросов, которые люди будут использовать для LLM (для дальнейшего дообучения RLHF). Очевидно, вместо этого модели задавали любые вопросы, не только в домене. Да, нам следовало подумать лучше.
— Ошибка с нашей стороны заключалась в том, что люди относились к сайту как к *продукту*.
— Комментарии против Galactica были действительно глупыми, но мы не должны были допустить того, что случилось, даже если бы запуск прошёл лучше.
Помянем
Кстати, а где Google?
Denis Sexy IT 🤖 2023-11-15 06:50:08
Альтман написал, что они временно перестали принимать новые платные подписки в ChatGPT.
Вдумайтесь в это, компания добровольно отказывается от денег, потому что у нее временно кончились вычислительные ресурсы
Нечасто такое увидишь в ИТ-секторе
Сиолошная 2023-11-14 12:10:11
Немного продолжим день карьеры 🙂
Попалось под руку видео Don't Do Invisible Work
Если вы работаете в сколь-нибудь адекватной компании, пусть даже не технической, то в ней существуют процессы оценки вашей работы.
В техе это: регулярные перформанс ревью, промоушены и бонусы. К сожалению, они основаны на том, что другие люди помнят о вас и о вашей работе. И если о работе никто не помнит — то и оценивать по ней никто не будет. А как легко догадаться, люди в целом плохи в запоминании разных вещей, особенно если это руководитель с десятком обязанностей и столькими же подчинёнными.
Решени очень простое: записывать, что вы сделали, какой результат это принесло, и рассказывать об этом другим. Причём очевидно, что за вас это никто не сделает — ну разве что в очень редких ситуациях босс, если вы любимчик.
Мне вот не повезло — этот урок я получил от Валеры @cryptovalerii, когда пришёл в Яндекс. После первого месяца он спросил меня, что я сделал (а я не очень складно то и рассказал). Сказал, нужно записывать, и что через 4 месяца будет ревью, и он спросит ещё раз. В назначенный срок я получил запрос, и вот представьте насколько другой была бы выходная бумага, если б я пытался что-то впопыхах вспомнить по памяти!
-----
Стоит думать об этом в таком ключе: если в любой момент времени вашего руководителя спрашивают "а что сделал X?", то у него есть несколько примеров (не один), как он может ответить конкретикой. Понятно, что если все такие умные будут, то начнётся борьба за внимание, но это, обычно, не светит до уровня С-1/C-2.
Сиолошная 2023-11-14 11:11:54
30го ноября выступаю на конференции Global CIO Insights: Digital Transformation with AI
Доклад по теме «Opportunities in AI for Practitioners», расскажу про адаптацию AI продуктов в 2023м году, как не отставать от авангарда технологий (подписаться на Сиолошную
Основные тезисы:
Доклад начинается в 12:10 по МСК, ссылка прилетит тем, кто зарегистрировался вот тут (бесплатно).
Лет ми спик фром май харт: это будет мой первый доклад на английском, поддержите
Метаверсище и ИИще 2023-11-14 11:10:57
А теперь, внимание, челлендж.
Вам надо нарисовать с помощью chatGPT и DALL·E 3 цветик-семицветик.
Условия: Не в Бинге. в chatGPT. Промпт должен быть на английском. Выяснилось, что chatGPT прекрасно знает сказку про семицветик.
Цветок с семью лепестками. Ровно.
Все мои попытки провалились. Рисует либо 6, либо 8.
После генерации даже считает лепестки неправильно, если ему дать на вход его же картинку и попросить посчитать(к вопросу о когнитивных заблуждениях). Правильно считает только в новом чате (необусловленном собственным творчеством).
Я сделал в фотошопе семицветик, дал ему, считает лепестки правильно, воспроизводит неправильно.
Мы с Лешей К. убили вечер, но не смогли родить каменный семицветик. Леша умудрился сделать пятицветик (подвиг, я считаю).
В общем для вас это повод залипнуть в DALL·E 3.
Присылайте в коменты свои варианты и диалоги с chatGPT - он вас удивит.
P.S. В природе семицветиков почти нет. Есть очень редкий вид - седмичник. Либо DALL·E 3 просто не досталось изображений с седмичником, либо он жестко завязан на осевую и центральную симметрию. Пишите теории заговора в чат.
Никаких миджорней и Stable Diffusion с контронетами. Взламываем мозги DALL·E 3
Большое спасибо подписчику Николаю за идею и наводку.
Борис опять 2023-11-14 10:26:51
#работа
# Методичка по поиску работы в ML/DS и IT в целом
В канале накопилось немало материала про поиск работы. Я собрал, дополнил и превратил всё в небольшую книжку.
Все кратко и по делу. Чтения минут на 30. Внутри рассматриваю поиск работы с самых азов и до деталей с примерами из жизни.
https://btseytlin.github.io/intro.html
Если вы давно читаете этот канал и хотели бы ему помочь, то вот лучший способ: скиньте методичку кому-то из друзей.
@boris_again
Сиолошная 2023-11-14 08:19:40
Ой, я написал «по миллиону долларов в год получают»? Ну ошибся, бывает. Тут появились новости, что OpenAI переманивает ведущих исследователей из других лабораторий (в основном, из Google), предлагая им компенсацию в ДЕСЯТЬ МИЛЛИОНОВ (на горизонте 4 лет, выдыхаем).
Как? Предлагается рассчитать пакет опционов по старой оценке компании — $27 млрд. А текущие сотруники уже могут продать акции по оценке $80 млрд. А если через 3-4 года компания ещё разгонится и перевалит за 200-300B...вообще как сыр в масле можно кататься, продавая бумажечки.
Ещё есть информация, что OpenAI хочет забрать из Google разработчиков модели Gemini (конкурент GPT-4, про который говорят с весны, но его никто не видел). Им даже удалось переманить одного из руководителей проекта. Но Google не отстает, и тоже смог переманить нескольких лидов из OpenAI.
НАША БИТВА БУДЕТ ЛЕГЕНДАРНОЙ!
Источник (за пайволом)
Сиолошная 2023-11-14 08:06:27
The Impact of Large Language Models on Scientific Discovery: a Preliminary Study using GPT-4
230-страничный отчёт исследователей Microsoft по применимости и навыкам GPT-4 в следующих направлениях:
— Drug Discovery
— Biology
— Computational Chemistry
— Materials Design
— Partial Differential Equations
, в каждом из которых ещё по 3-6 поднаправлений (например, предсказание свойств материалов или просто Q/A по теме в помощь исследователю).
Инсайтов, как и мелких деталей по каждому из топиков, слишком много, да и я не большой эксперт в каждой из областей. Если у вас есть релевантные навыки или просто очень хочется разобраться — для каждой секции есть Summary, по которому можно пройтись и сделать выводы.
Если совсем коротко:
— исследования показывают, что GPT-4 демонстрирует многообещающий потенциал (читай часто отвечает правильно или просто хорошо, но с недостатками и ошибками) для различных применений в науке, демонстрируя свою способность решать сложные задачи с применением доменных знаний.
— GPT-4 обладает обширными знаниями в областях Biology и Materials Design, которые могут помочь удовлетворить некоторые запросы в отдельных областях (но их нужно нащупать, и вдохновление для будущих исследолвателей как раз предлагается брать в настоящей работе). — В других областях, таких как Drug Discovery, GPT-4 демонстрирует способность достаточно хорошо предсказывать свойства веществ — в одном (из десятка+-) бенчмарке даже обходят доменное решение (но я так понял это не SotA).
— Для Computational Chemistry и Partial Differential Equations модели не хватает точности вычислений. В целом она математику понимает хорошо, но не может на лету делать вычисления — авторы намеренно не подключали к ней калькулятор, Wolfram или другие инструменты. Однако с их помощью, потенциально, можно добиться куда более значимых результатов.
— Ещё заметил, что почти везде промпты очень простые и прямые, буквально однострочные, может, из двух предложений. Кажется если давать больше контекста, то результаты улучшатся (ваш Кэп)
— Для отдельных доменов модель плохо разбирается с форматами данных (например, SMILES—способ описания состава и структуры молекулы—модель и парсит плохо, и генерирует не очень, и это мешает проводить эксперименты). Потенциально дообучение на корпусе знаний решает проблему, да и внешние инстурменты тоже должны разгрузить LLM.
Что мне куда интереснее, так это то, а сколько и каких таких бенчмарков уже есть в OpenAI — ведь для них сейчас одна из главных задач это буквально создать систему с LLM в сердце, которая будет ЗАМЕНЯТЬ ИССЛЕДОВАТЕЛЕЙ В OPENAI (да-да, тех, которые по миллиону долларов в год получают). Если вы про это ничего не слышали, то предлагаю посмотреть мою лекцию.
А в комментарии приглашаются эксперты с доменными знаниями по упомянутым направлениям — делитесь, если нашли что-то интересное!
Сиолошная 2023-11-13 23:01:41
На ночь глядя OpenAI выложили 5 видеозаписей с конференции DevDay — это были выступления после блока анонсов от Sam Altman. Утром посмотрю и к вечеру сделаю обзор, но не могу вам запретить обогнать меня и насладиться контентом:
1. Research x Product (19 min)
2. New Products: A Deep Dive (45 min)
3. The New Stack and Ops for AI (34 min)
4. A Survey of Techniques for Maximizing LLM Performance (45 min)
5. The Business of AI (43 min)
Именно фотографии слайдов с этих выступлений гуляли по сети, а я переживал, выложат ли доклады или нет? Пример вы можете увидеть на прикреплённой картинке (4й доклад).
UPD: комментариев нет потому что я случайно удалил пост из чата, и это удаляет комменты