Нейролента Mikitos.ru 2736 постов. Страница 40 (50 постов)
Сиолошная 2023-09-13 17:53:49
Пара апдейтов:
1. Elon на недавнем интервью сказал, что лицензия от FAA— единственное, что препятствует пуску. Корабль и ускоритель больше не будут тестироваться и готовы к полёту. В прошлый раз с момента получения лицензии до первой попытки прошло что-то около суток.
2. Значимая часть команды SpaceX пришла на пусковую площадку для совместного фото перед значимым событием. Подпись под фото: "Made on Earth by humans".
3. Источник, который сообщал в прошлый раз про окончание разбирательств FAA за несколько часов до анонса, написал, что "лицензия может быть выдана через день-два".
Короче, как будете в супермаркете в следующий раз - обязательно зайдите за попкорном!
Сиолошная 2023-09-13 12:37:50
На минутку погрузимся в мир менеджерской работы. Смотрел подкаст с Sam Altman, где среди прочего затронули следующий вопрос (ссылка на видео с таймкодом):
> Как вы развиваете людей в своей компании? Как вы выращиваете лидеров?
Ответ:
— Я думаю, что выращивание лидеров в большинстве случаев проваливается по некоторому набору причин. Они не тратят достаточное количество времени на найм, на развитие своей команды, на то, чтобы донести до команды своё видение, на стратегическое мышление — потому что зацикливаются на деталях.
Когда я ставлю человека на должность очень высокого уровня — что всегда лучше делать через взращивание специалиста внутри команды, чем нанимать извне — я зову их на обед, прогулку или мы просто садимся для обсуждения. Я говорю: вот вещи, в которых ты облажаешься. Сейчас я приведу тебе исчерпывающий список. Ты будешь меня полностью игнорировать по этому поводу, ты, вероятно, не будешь ими заниматься, потому что скорее всего думаешь, что ты лучше знаешь или ты не совершишь эти ошибки (по-русски немного грубовато звучит, но у Sam хорошие формулировки, с хорошим посылом. Посмотрите видео).
Я запишу на бумаге все основные причины и передам тебе, и мы обсудим их через 3 месяца, через полгода. В конце концов, я думаю, мы вернёмся к их обсуждению.
И всегда люди игнорируют эти проблемы, и потом возвращаются к обсуждению списка и потенциальных решений.
Sam думает, что дать человеку осознать проблемы и подумать над решениями самостоятельно, но при этом указать на них заведомо - это очень важная часть процесса.
Дальше ведущий спрашивает про процесс делегирования Sam, как он подходит к этому (потому что это важная часть лидерской работы, чтобы не утонуть в рутине и деталях).
— Есть 2 ключевые вещи.
Номер один: специалисты высшего класса (Sam говорит "high-quality people", но по-русски как-то не звучит "высококачественные", кек).
Номер два: установить вспомогательные тренировочные колёса (как на велосипеде, но можете для аналогии рассмотреть ходунки) на правильной высоте и начать их постепенно поднимать, предоставляя больше самостоятельности, по мере того как люди учатся, а у Sam появляется больше доверия.
Моё примечание: к сожалению, второе не работает без первого. Сложно начать что-либо делегировать, если человек почти не учится на ошибках, не воспринимает фидбек. На этом невозможно построить доверие и начать "усложнять" работу с предоставлением большего уровня самостоятельности.
Neural Shit 2023-09-13 09:41:31
Киберпанк, который мы заслужили
Neural Shit 2023-09-13 05:49:07
Начинай свой день с нейрогороскопов - самых лучших и всегда сбывающихся гороскопов!
Нейронка хуйни не посоветует!
https://youtu.be/T0KJJfhUjuA?si=eqpsxJkegDw9W5cG
эйай ньюз 2023-09-12 12:03:19
А вот и обложка свежего выпуска журнала Wired.
Цитата из выпуска: "The young company sent shock waves around the world when it released ChatGPT. But that was just the start. The ultimate goal: Change everything. Yes. Everything."
Вот они рокзвезды ИИ по мнению журналистов. Начинает немного подбешивать хайпожорство вокруг OpenAI.
Еще об интересной обложке Times я писал пару дней назад.
@ai_newz
gonzo-обзоры ML статей 2023-09-12 09:51:53
Ставки растут. Теперь уже не Ивахненко, теперь нейронки изобрели в 18 веке (лин.регрессия, ага).
Сиолошная 2023-09-12 08:39:00
Обложка октябрьского номера 10/10
Сиолошная 2023-09-12 08:37:52
Прочитал намедни таки статью от Wired (https://www.wired.com/story/what-openai-really-wants/). К сожалению, не так много новой информации, но постарался выделить основные моменты для вас.
Про появление компании и найм первых сотрудников:
— незадолго до основания OpenAI Altman подумывал о том, чтобы баллотироваться на пост губернатора Калифорнии. Но он понял, что у него есть все шансы сделать что-то большее — возглавить компанию, которая изменит человечество;
— с первых дней работы компании делался акцент на AI safety. Миссия компании состоит в том, чтобы создать AGI и сделать его безопасным для человечества. Люди, работающие в OpenAI, фанатично стремятся к этой цели;
— но это не культ, а сама обстановка такая. Когда автор статьи спросил нескольких руководителей из OpenAI, сможет ли кто-то с комфортом работать там, если они не верят, что AGI действительно наступит – и что его появление ознаменует один из величайших моментов в истории человечества — большинство руководителей однозначно ответили "нет";
— «Еще в 2015 году, когда мы набирали сотрудников, для исследователя считалось чуть ли не убийством карьеры, если он сказал, что серьезно относится к проблемам AGI», — говорит Altman. «Но мне нужны были люди, которые отнеслись к этому серьезно»;
— Одним из таких людей был Ilya Sutskever. В середине 2015 года Altman отправил Ilya имейл с приглашением на ужин с Elon Musk в шикарном отеле Rosewood в Пало-Альто. «Это был своего рода общий разговор об AI и будущем», — говорит он. В частности, они обсуждали, «были ли Google и DeepMind настолько далеко впереди, что их невозможно было бы догнать, или все еще возможно, как выразился Elon, создать лабораторию, которая стала бы противовесом». Хотя никто на ужине явно не пытался предложить Ilya работу, разговор его зацепил;
— Вскоре после этого Sutskever написал Sam имейл, в котором сказал, что готов возглавить проект, но сообщение застряло в его папке с черновиками, лол. Благо Altman отправил ещё одно, и начались переговоры;
— Однако не всех, до кого смог дотянуться Altman, удалось привлечь. Например, от участия в проекте отказался John Carmack, легендарный программист и разработчик игр, создавший культовые Doom и Quake. Хотя сейчас он тоже начал заниматься AI, уйдя из сферы виртуальной реальности🤓;
Большой блок статьи посвящен объяснению разделения OpenAI на for-profit и non-profit. В целом там объясняется то же самое, что я пересказывал много ранее в канале, можете ознакомиться, если пропустили: раз и два. Однако есть ещё пара моментов:
— в финансовых документах для инвесторов OpenAI чётко говорят: «Мы здесь не для того, чтобы обеспечить вам доход. Мы здесь, прежде всего, для выполнения нашей миссии. И мы, кстати, на самом деле даже не знаем, какую роль будут играть деньги в мире после создания AGI»;
— более того где-то в документах о реструктуризации 2019го года (когда появилась for-profit компания) есть пункт о том, что если OpenAI удастся создать AGI, все финансовые договоренности будут пересмотрены. В конце концов, с этого момента начнётся новый мир, с новой экономикой и политикой;
— Sam Altman не владеет и никогда не владел акциями ни одной из OpenAI. Он говорит, что изначально хотел включить себя в списки получающих долю компании, но не сделал этого. Sam решил, что ему не нужна никакая часть компании, которую он основал и возглавляет. Многие не могут в это поверить до сих пор, даже в комментах в прошлый раз, когда я это упоминал, люди писали про оффшоры и трасты. Это, очевидно, бред.
Сиолошная 2023-09-12 08:37:52
О технологиях:
— одним из ключевых исследователей в области, которая позже вылилась в разработку LLM по типу GPT, был Alec Radford. Ему было 23, он был креативен и много экспериментировал;
— когда он начал экспериментировать с архитектурой трансформера, то сказал: «За две недели я добился большего прогресса, чем за последние два года»;
— Настоящий момент прозрения наступил, когда Ilya Sutskever увидел новую архитектуру трансформера. Он сказал: «Это то, чего мы ждали». На тот момент это было частью стратегии OpenAI — упорно решать проблемы, и верить, что им или кому-то в этой области удастся найти недостающий ингредиент вроде новой архитектуры или подхода;
— напомню, что я тоже считаю трансформер эпохальной вещью и вне рамок NLP, про это писал тут. В посте, кстати, упомянут и Andrej Karpathy - один из ко-фаундеров OpenAI, который недавно туда вернулся на работу (уже после выхода ChatGPT);
— уже в момент разработки GPT-2 появились опасения касательно публикации модели в открытую. Если помните 2019й - OpenAI решили выложить все модели, кроме самой большой. Доступ к ней давался только отдельным исследовательским группам по заявкам. Подход, во многом продолженный и расширенный в GPT-3 и GPT-4. Это вызывало много дискуссий в рамках компании, кто-то хотел показывать миру ещё меньше, кто-то наоборот топил за полную открытость;
— Не нужно думать, что OpenAI вот только сейчас решили "прикрыться" AI Safety и сказать "ну нет, модели мы отдавать не будем";
— «Мне кажется, невозможно сделать меньший акцент на этом — у нас не было общего плана, как мы достигнем наших целей», — говорит Altman. «Как будто мы поворачиваем за каждый угол и светим фонариком. Мы готовы пройти через лабиринт, чтобы добраться до конца». Хоть лабиринт с ходом исследований, кажется, и стал более извилистым, цель не изменилась. «У нас по-прежнему есть наша основная миссия — верить в то, что безопасный искусственный интеллект является критически важной вещью, к которой мир не относится достаточно серьезно».
О политике и регуляции
Общение OpenAI с Конгрессом началось задолго до публичных слушаний. Про это чуть ниже.
— «Sam был чрезвычайно полезным, и при этом очень сообразительным в обращении с членами Конгресса», — говорит Richard Blumenthal, председатель Юридического комитета Сената. Он противопоставляет поведение Sam поведению Bill Gates, который неразумно препятствовал законодателям, когда в 1990-х годах Microsoft находилась под антимонопольным расследованием. «Altman, напротив, был рад провести со мной лишний час или даже больше, пытаясь поделиться со мной знаниями», — говорит Blumenthal. «Он пришел не с армией лоббистов или наблюдателей. Он продемонстрировал ChatGPT. Это было потрясающе».
— К тому времени, когда Altman впервые публично появился на слушаниях в Конгрессе, для него был открыт путь, по которому Bill Gates или Mark Zuckerberg никогда и не надеялись пройти. Ему почти не приходилось сталкиваться с трудными или по-дурацки высокомерными вопросами, которые обычно задают руководителям технологических компаний.
— И вполне логично, что Sam позиционирует себя как сторонник регулирования; в конце концов, его миссия — создание AGI, но исключительно по пути AI Safety. Критики обвиняют его в том, что он провоцирует политический процесс регуляций, чтобы установленные правила мешали небольшим стартапам и давали преимущество OpenAI и другим крупным игрокам. Altman это отрицает — напротив, на слушаниях он подчеркивал, что регуляции не должны касаться опенсорса или стартапов, и в первую очередь он хочет регуляций для OpenAI.
Вдогонку:
— автор статьи пишет, что посетил практически все крупные технологические компании в Кремниевой долине и за ее пределами, и ни одна из них не имела столь же хорошей кофейни в холле офиса, как у OpenAI. Быть может в этом секрет...
Сиолошная 2023-09-12 08:37:52
О политике и регуляциях
На фото вы видите Anna Makanju, она занимает пост Chief Policy Officer в OpenAI с сентября 2021го года.
Makanju — свой человек в округа Колумбия. Она занимала внешнеполитические должности в миссии США при ООН, Совете национальной безопасности США и Министерстве обороны, а также в офисе Джо Байдена, когда он был вице-президентом.
Интересна её история: Anna родилась в Санкт-Петербурге в семье нигерийца и украинки. Она переехала с семьей в Германию, когда ей было 11 лет, затем в Кувейт, где они жили до начала войны в Персидском заливе, и, наконец, в Техас. Anna поступила в Western Washington University, когда ей было 16 лет, получила степень бакалавра лингвистики и французского языка. После работы у шеф-повара Tom Douglas в Сиэтле она начала изучать право в Stanford University. Бывает же!
На момент её присоединения к OpenAI очень немногие люди в правительстве имели мнение по поводу генеративного ИИ. Зная, что продукты OpenAI вскоре изменят ситуацию, она начала знакомить Sam Altman с членами администрации, следя за тем, чтобы они первыми услышали хорошие и плохие новости от OpenAI.
P.S.: Anna кстати недавно попала в список 100 самых влиятельных людей в мире AI по версии журнала TIME
Neural Shit 2023-09-12 01:40:33
Сейчас копался на старом жестком диске и нашёл прекрасное из 2020 года, когда дипфейки только-только достигли более-менее годного уровня.
Сериал "Друзья", но в главной роли Александр Друзь (играет всех). Сейчас подумал, что было бы заебца обработать таким макаром весь сезон, но и еще и с помощью современного войс-клонинга впилить туда голос Друзя.
Такой сериал бы я точно посмотрел
Neural Shit 2023-09-11 22:05:41
Скорее бы уже
BOGDANISSSIMO 2023-09-11 07:57:40
Mochary Method
Существует такой персонаж, Matt Mochary, коуч для CEO. Его очень рекомендует Sam Altman (CEO, OpenAI):
"Matt’s coaching has brought me clarity, focus, organization, less stress, higher performance (me and the team). I have always been skeptical of coaches but I think he can 10x the output of a lot of people and I hope he does!"
У Matt Mochary есть Mochary Method Curriculum, это открытая база знаний по всевозможным темам, с которыми фаундеру необходимо сталкиваться в работе: как строить компанию, организовывать встречи (включая 1:1), как слушать, как принимать решения, ставить цели, нанимать, мотивировать, оптимизировать, расти, работать над ошибками – и много чего ещё. Все знания разбиты на короткие заметки по 2-5 минут чтения. Со слов Matt, эти заметки покрывают 95% его тренинга. Я рекомендую их чтение любому, кто даже только начинает пробовать себя в менеджерской роли.
Впервые этими заметками со Мной довольно давно поделился Игорь, автор канала Сиолошная. Но почему Я вспомнил о них сегодня?
Решил Я, значит, натравить вчера на эти заметки пайплайн с языковой моделью поверх базы знаний, который собирал под другой проектик, заглядываю на сайт, а там... это уже сделано, притом в клёвом интерфейсе. Впрочем, это было ожидаемо, раз уж Sam Altman оказался на лендинге сайта!
Соответственно, highly recommended (Mochary AI):
https://beta.mocharymethod.com/matt_bot
Denis Sexy IT 🤖 2023-09-10 22:46:43
Я потестил на современной классике, с кино конечно пока не очень работает – а Польский вообще стал английским и не одной kurwa 🌚
Через год, думаю будет сильно лучше работать чем сейчас – классный продукт, с кучей нейронок под капотом и большими перспективами
Сиолошная 2023-09-10 22:43:47
Сначала о весёлом: принес вам немного будущего [не реклама].
Появился сервис https://labs.heygen.com/, который делает достаточно качественный перевод речи в видео на другой язык и озвучивает голосом, близким к оригинальному. Тут сразу целая пачка технологий, и самая главная часть с точки зрения пользовательского опыта - это липсинк. Отдельная нейронка перерисовывает рот говорящего так, чтобы в губы ложился текст на новом языке. Если присмотреться, то видны артефакты, но в движении, не глядя только на губы, почти незаметно, особенно если нет больших углов поворота лица. Генерация поддерживает 8 языков, включая польский, поэтому появилось много МЭМов с курвами.
Прикладываю несколько переозвученных мемов. Скоро так можно будет переводить целые фильмы, с учётом того что качество звучания там лучше, да и эффекты обычно накладываются отдельными дорожками - то есть обрабатывать куда проще. А там уж и целые лица можно перерисовать...
Поиграться в демо-режиме можно тут: https://labs.heygen.com/guest/video-translate (платить не надо).
Теперь обратная сторона монеты: о грустном.
На прошлой неделе завирусился пост Алены Андроновой с названием "Из голоса банка - в п0рнo". Ссылка. В нём рассказано, что в далеком 2019м году Алена записала свой голос для банка Тинькофф (600 страниц текста!), а теперь голос выставлен на продажу и доступен каждому. Умельцы как только могут его переиспользуют. Вот вам и кража голоса. Интересный прецедент, посмотрим, когда такое произойдет на Западе и что решит суд.
Сиолошная 2023-09-10 21:15:47
Гифка не влезла, поетому вот
Мне вообще всё описанное напомнило некоторый процесс оптимизации под заданный датасет. Примерно как построение дерева решений, которое корректирует свои предсказания на основе совершаемых ошибок, и в конечном итоге хорошо предсказывает некоторую выборку. Только признаки для модели здесь - это текст, а "архитектура дерева" — задаваемый промпт, который проходя через цепочку математических преобразований в модели становится ответом.
Сиолошная 2023-09-10 21:15:34
Но в самолёте мы говорили с товарищем не об этом, а о том, что уже сейчас можно начать крутить LLMки — даже локальные — чтобы создавать и наполнять фейковые аккаунты в социальных сетях. Можно автоматизировать фабрику троллей с переводом акцента на пропаганду и смещение картины мира.
Опять же, ничего невозможного с точки зрения того, что уже делается, только масштаб другой — модели то можно запускать сколько душе угодно, пока не кончается выделенный на GPU бюджет. А для поддержания диалогов/тредов другие боты "послабее" могут встревать в дискуссии и отвечать, но неубедительно, чтобы "правильный" бот его переубедил, а ты, прочитав это, подумал "Не ну так-то и вправду, а чё эти демократы сделали то нормального? Проголосую-ка за республиканцев".
Да и вообще сложно на каждого онлайн-пользователя выделить по одному сотруднику-троллю, который будет вести диалог и планомерно переубеждать в чем либо. Это ж получится как в анекдоте "половина сидит, половина охраняет". А бот на продвинутой нейронке не устанет, будет отвечать снова и снова — десяткам миллионов людей одновременно.
И запрягать весь процесс можно уже сейчас, разогревая аккаунты в соц. сетях, притворяясь, что бот пишет про свою жизнь и постит рандомное что-то, при этом адекватное.
Даже если такой проблемы не будет в 2024м году - с очень большой вероятностью мы с этим столкнемся в 2028м. Что делать и как быть? Отключать соц. сети в период гонки? Вряд ли. Обучить людей не верить тому что в интернетах пишут? Не вариант. Проиграть выборы? Уж лучше отключить интернет..
Может делать какую-то продвинутую модерацию? Так людей не хватит, а автоматизировать это ещё как-то надо придумать. Лучшие модели по выявлению сгенерированного текста — даже от самих OpenAI — показывают очень слабые результаты. Про это писал Юра Кашницкий, можно вот тут прочитать детали.
Сиолошная 2023-09-10 21:15:34
И тут, вы не представляете товарищ следователь, недавно OpenAI выпускают блогпост под названием "Using GPT-4 for content moderation". Проектом, кстати, заведует Lilian Weng — та самая, которая ведёт блог Lil’Log с отличными постами про ML и LLMки.
С их слов, система модерации контента, использующая GPT-4, обеспечивает гораздо более быстрое внесение изменений в правила модерации, сокращая цикл с месяцев до часов. GPT-4 также способен интерпретировать правила и нюансы в длинной инструкции/политике в отношении контента и мгновенно адаптироваться к обновлениям, что приводит к более последовательной оценке контента.
Система очень проста, демонстрацию вы можете видеть на приложенной гифке. Вся фишка в том, что GPT-4 достаточно умна, чтобы понимать написанный текст (поверьте, с этим не все люди справляются).
1. После написания принципов модерации/инструкции эксперты могут разметить маленького размера набор данных, найдя небольшое количество примеров нарушений и присвоив им метки в соответствии с политикой нарушений.
2. Затем GPT-4 читает набор правил и проставляет метки для этих данных, при этом не видя ответов. 3. Изучая несоответствия между ответами GPT-4 и суждениями человека, эксперты могут попросить GPT-4 пояснить за базар (уточнить, почему был дан такой ответ), проанализировать двусмысленность в определениях в инструкции, и устранить путаницу с помощью дополнительных разъяснений (шаг дописывания голубого текста слева на гифке).
Можно повторять шаги 2 и 3, пока не будет достигнуто удовлетворительное качество работы алгоритма. При желании использовать это на большом объеме можно использовать прогнозы GPT-4 для дообучения гораздо меньшей модели, которая покажет сравнимое качество.
OpenAI делятся метриками по 12 разным типам нарушений. Модель работает в среднем чуть лучше обычных модераторов контента, но по-прежнему уступает опытным и хорошо обученным модераторам-людям. Зато стоит копейки!
Не то чтобы ML-модели не использовались для автомодерации уже несколько лет, однако я уверен, что новшества в этой сфере, связанные с политикой и выборами, будут появляться. Возможно, OpenAI будет единственным официальным провайдером TrueModerationAPI™, утверждённым Белым Домом (ведь они недавно партнерились), кто знает.
Сиолошная 2023-09-10 21:15:33
В следующем году в США пройдут 60-ые выборы президента.
После скандалов с Cambridge Analytica общество и политики стали обращать ещё больше внимания на социальные сети и интернет как место борьбы за политическую точку зрения. Большой вопрос в том, во что превратится интернет к моменту выборов.
Пока вчера летел в самолёте, обсуждал с товарищем этот топик в контексте языковых моделей. Тема достаточно важная: во время весенних слушаний в сенате её поднимал Josh Hawley, сенатор от штата Миссури (ссылка с таймкодом). Тогда он задал Sam Altman'у вопрос касательно статьи "Language Models Trained on Media Diets Can Predict Public Opinion" (авторы из MIT и Stanford). Как следует из статьи, исследовалась возможность использования нейронок для предсказания общественного мнения на те или иные новости. Представьте, что у вас есть черный ящик, в который можно подавать новости, окрашенные в те или иные политические тона, и понимать, каким будет восприятие в глазах голосующих за другую партию (или колеблющихся голосов). Обычно для этого делают фокус-группы, проводят опросы, да и вообще есть целые методички на эту тему (сам, правда, не видел).
Пересказывать статью подробно не буду, лишь опишу общие детали. Модель сначала тренируется на некотором наборе статей с того или иного ресурса просто предсказывать пробелы в тексте (BERT), а затем измеряется некоторая оценка s. Делается это так:
1) формируется тезис, скажем, "Требование о закрытии большинства предприятий, кроме продуктовых магазинов и аптек, [ПРОПУСК] в целях борьбы со вспышкой коронавируса."
2) как вы видите, в тезисе стоит пропуск. Языковые модели могут предсказывать вероятности заполнения этого пропуска тем или иным словом
3) оцениваете вероятность определенных слов, скажем, "необходимо" или "излишне"
4) эта вероятность нормируется на вероятность от базовой, недообученной модели (которая просто умеет оценивать, насколько часто слово встречается в таком контексте само по себе). Итоговая дробь и есть оценка s, характеризующая новую информацию, содержащаяся в наборе данных из СМИ, но относительно существующих знаний и информации в целом.
Помимо этого, сверху добавляется оценка того, насколько конкретная группа людей пристально следит за новостями определенной темы. Это, очевидно, улучшает качество предсказания, которое измеряется в корреляции предсказаний модели и мнения людей по поводу оригинального тезиса из пункта (1).
Фишка в том, что тезисы и новости разделяли по датам, то есть обучившись на новостях за первые пару месяцев, скажем, коронавируса, можно было предсказывать реакцию людей на предлагаемые меры и изменения.
Однако метрики не выглядят клевыми, да и сами авторы подчеркивают, что их результаты не означают, что (а) люди в процессе могут быть заменены ИИ или (б) опросы людей могут быть заменены моделями. Скорее это станет инструментом, помогающим обобщать огромные объемы данных и подсказывать перспективные направления "работы".
(Но сенатор приходил к другому выводу, что модели всё делают слишком хорошо и это опасно. Крупица здравого смысла в этом есть: в статье представлены очень простые модели, возможно GPT-4 будет куда лучше)
Neural Shit 2023-09-10 19:58:04
Как же мощно работает вот ентот новый переводчик видео, моё почтение. Голос копирует прям топ.
Вот тут на пробном периоде можно сделать подобное самому онлайн
Neural Shit 2023-09-10 17:30:04
Интересно наблюдать, как Stable Diffusion потихонечку вкатывается в оффлайн. Сначала фотобудка со встроенным SD, теперь вот это вот
https://t.me/uxlive/14632
Сиолошная 2023-09-10 16:35:01
В Веб-версии ChatGPT у некоторых пользователей появилась новая фича. Вместо одного ответа на их промпт одновременно генерируется два ответа, и предлагается выбрать лучший.
Подобное было реализовано почти сразу на релизе GPT-4, но только после нажатия кнопки перегенерации, когда есть явный запрос вида "мне не понравилось, давай ещё разок". А сейчас вот прямо сразу в чате.
Очевидно, что эти данные пойдут для дообучения текущих моделей и обучения будущих, ибо основной способ тренировки, RLHF (который я разбирал в этой лекции), опирается как раз таки на парные ответы, пытаясь оперировать оценкой вида "левый лучше правого". Чаще генерируй то что нравится больше, а то что не нравится - реже, и дело в шляпе!
Страшно представить, насколько впереди OpenAI в разрезе количества собранных данных относительно других конкурентов, особенно опенсурса. Google и Meta ещё могут догнать, а вот другие разве что в отдельновзятых узких доменах.
Сиолошная 2023-09-10 16:00:25
Starship Flight 2
120-метровая машина стоит на ~10-метровом пусковом столе. Почти заряжена и готова к бою полёту.
Совсем скоро, возможно уже в следующем году, вся конструкция будет садиться в мааааленькую специально отведённую для этого зону с минимальной погрешностью.
Сиолошная 2023-09-10 15:59:12
Рубрика "чё там в Бока Чика?"
В прошлый раз мы остановились на том, что SpaceX ждут завершения расследования FAA (специальной комиссии) касательно весеннего запуска, когда ракета была подорвана.
8го сентября комиссия заявила, что завершает свою работу, по результатам которой появился список из 63 пунктов, которые SpaceX должны выполнить для получения лицензии на следующие пуски. Штука в том, что финальный отчёт прорабатывался совместно со SpaceX все эти 5 месяцев, и не стал для компании сюрпризом — наоборот, большую часть пунктов они почти наверняка прописали сами.
В твиттере (я буду продолжать называть соцсеть так, сорян) Elon Musk сказал, что уже 57 пунктов из этого списка выполнены, а остальные 6 будут выполнены уже для последующих пусков. Перед тем, как перейдем к списку, ещё отмечу, что параллельно с этим было опубликовано расследование причин аварии.
Если вкратце, то во время пуска произошёл пожар в двигательном отсеке, одна из причин - утечка горючего. Это привело к потере системы управления двигателями (по-простому "прогорела проводка"). Может звучать существенно, но SpaceX уже предприняли необходимые действия для противодействия: поставили систему пожаротушения и продувки отсека с помощью CO2, а также сменили гидравлическую систему управления двигателями на электрическую.
Что ещё сделали? Ну, помимо укрепления стартового стола и системы подачи воды под стартовый стол:
— установить больше сенсоров для обнаружения протечек, в том числе на самих двигателях;
— добавить термоизоляцию для систем контроля у каждого двигателя и запасной канал для управления;
— добавить больше 90 камер на все случаи жизни. Их и до того были десятки, а теперь..!
— изменить процедуру отключения двигателей (если в нем будет утечка или начнется пожар, да хоть что).
Сейчас ускоритель и корабль установлены на стартовый стол и готовы к пуску. Судя по списку и по закрытию расследования, а также по шутливому настроению Маска и слухам, лицензия ожидается в ближайшие дни. А сразу после — полёт! Осталось ждать буквально 2, край 3 недели.
По сути, площадку и корабль подвергли кардинальным изменениям и переподготовили всё за 6 месяцев. Думаю, это на будущее это самый большой период без пусков, который на нужно было переждать. Дальше они будут чаще: раз в 4 месяца, потом 3..2...а там станет рутиной
эйай ньюз 2023-09-10 07:58:12
🦜Оказывается, попугаи достаточно умные, чтобы освоить UI ютуба. Больше всего им нравится смотреть видео с другими попугаями. Посмотрите, как он целенаправленно листает ленту и выбирает видео с себе подобными. Пернатый интеллект, не иначе.
Вообще, очень круто осознавать аналогии в обучении животных и машин.
@ai_newz
gonzo-обзоры ML статей 2023-09-10 06:34:37
An interesting observation by Xiang Zhang:
TL;DR: number of parameters is a more determining factor than numerical precision for large language model performance. Given a memory constraint, one should maximize the number of parameters by quantizing at the highest level possible.
https://www.xzh.me/2023/09/a-perplexity-benchmark-of-llamacpp.html
gonzo-обзоры ML статей 2023-09-09 20:46:18
And a couple more slides
gonzo-обзоры ML статей 2023-09-09 20:38:43
Some updates on the AlphaFold and thoughts from the authors:
Neural Shit 2023-09-09 15:05:17
Уже и забыл, что у меня валяется VR-шлем. Полез глянуть чо там нового интересного вышло и наткнулся на Stride. Охуенно динамичная игруха, погонял и не заметил, как два часа прошло. Вроде и не делаешь ничего толком, но устаёшь. Ну и места надо побольше, чтоб не разъебывать мебель и руки об стены.
VR-бояре, посоветуйте еще годноты из игорей вышедших в течение года.
эйай ньюз 2023-09-09 10:29:24
Привет, друзья! А есть кто из нашего узкого комьюнити любителей AI на Мальте? Можно было бы мини-митап в бич-клубе организовать, пока я тут.
Погода все равно ветренная, и не покупаешься.
@ai_newz
CGIT_Vines 2023-09-08 13:01:53
Сервис по нейро-переводам стал доступен для тестов. За один доступный кредит вы можете протестировать видео от 30 до 50 сек.
Когда мы определяем зловещесть долины, мы смотрим сначала на глаза, потом на рот собеседника. Т.к. с глазами тут порядок, мы смотрим на рот, и тут как раз Heygen подменяет ваш липсинг на родном языке на липсинг языка, который вы выбрали для перевода. Хорошо ли он справляется, решайте сами.
Но меня подкупило использование сразу нескольких новых технологий: сам перевод, дипфейк и войс-рекогнишн.
Попробовать можно тут
градиент обреченный 2023-09-08 10:00:07
🔺 Новые открытые LLM #ml_news
Вот так пролетает пара недель, а за это время столько всего нового вышло.
➕ Persimmon 8B
Adept выпустили открытую языковую модель под фруктовым названием Persimmon с 8 миллиардами параметров. Контекст у модели 16k токенов, причем обучалась она сразу на такой длине, а не на более короткой с последующим расширением. Видела она 737B токенов (75% текст, 25% код). Выглядит необычно, будем смотреть.
Пост, GitHub.
➕ Falcon 180B
TII из Арабских Эмиратов продолжают обучать и выкладывать свои модели. На этот раз обучили огромную модель на датасете REFINEDWEB. Показали этой модели аж 3.5T токенов. В моменте получилась самая лучшая открытая модель, которая бьет Llama 70B и ChatGPT-3.5 на MMLU.
Пост, HF, Демо
➕ Code Llama 7B, 13B, 34B
Meta дообучила модели Llama 2 дополнительно на 500B токенов кода. Затем дополнительно сделали Code Llama – Python (+100B токенов) и Code Llama – Instruct. Получились лучшие на сегодняшний день PLP модели. 7B и 13B обучались с FIM (могут заполнять код в середине документа).
Пост, GitHub
➕ Qwen-VL 7B (+ Chat version)
Китайские исследователи обучили мультимодальную сеть на основе своей же Qwen 7B, которая видела 2.2T токенов. За счет большого количества увиденных токенов (в основном это китайский и английский) модель бьет все аналогичные картиночно-текстовые модели. Для Chat версии собрали Colab.
GitHub, HF, Colab
эйай ньюз 2023-09-08 07:30:52
Ничего необычного. Прошло 2 дня с выхода Falcon 180B и Герганов уже как ни в чем не бывало гоняет её у себя на маке M2 Ultra через LLaMa.cpp со скоростью 6.30 токенов в секунду
Это 4-битная моделька falcon-180b-chat.Q4_0.gguf отсюда.
@ai_newz
gonzo-обзоры ML статей 2023-09-07 20:39:18
Свежий ииконостас опубликовали
https://time.com/collection/time100-ai/
эйай ньюз 2023-09-07 18:46:05
Обложка свеженького выпуска TIME. Сколько лиц вы знаете?
Ответ: по ссылке.
@ai_newz
эйай ньюз 2023-09-07 16:37:17
Сегодня на Practical ML Conf Яндекс анонсировал обновленную версию своей языковой модели - YandexGPT2. Новая модель дает более качественный ответ, чем первая версия, в 67% случаев. YandexGPT2 лучше справляется со сложными инструкциями пользователей, лучше анализирует тексты и адаптирует текст под разные стили и аудитории.
Увеличили размер модели и расширили датасет (собрали больше реальных + синтетических данных). В общем, кажется, что модель хорошо дообучили. Правда, на лидерборде HF мы эту модель не увидим, потому что бенчмарки в основном англоязычные, а YandexGPT2 все же заточена на русский язык.
YandexGPT2 уже пошла в прод - ее задеплоили в Алису в фичу "Давай придумаем" (можно запустить прямо в поиске), где можно попросить LLM сгененерить что-то креативное, будь то стих или сценарий.
@ai_newz
Сиолошная 2023-09-07 13:50:33
На Wired вышел лонг про самую стильную, судя по превью, AI команду. Оставлю ссылку для всех интересующихся тут, вечером почитаю сам и, быть может, перескажу основные и неочевидные моменты.
Ссылка: https://www.wired.com/story/what-openai-really-wants/
(название статьи подозрительно схоже с моей последней лекцией. Если ещё не смотрели - то вперёд!)
Как же я ЛЮБЛЮ OPENAI😄❤️❤️, вот они слева направо:
Намджун, Чонгук, Чингачгук, Гойко Митич, Джин, Юнги
Люблю вас❤️❤️❤️
Сиолошная 2023-09-07 11:42:24
Осень, серость, стрессы, то да сё.
Подписчик принёс плагин для VSCode, который заставит вас улыбнуться: vscode-pets
Добавляет окошко в среду программирования, в котором "живут" маленькие животные (и не только). Можно поиграть с ними мышкой, можно просто отвести взгляд от только что набранного кода и немного расслабиться. А можно и мячик кинуть!
Скидывайте скриншоты в комментарии, какую животину вы завели себе!
Neural Shit 2023-09-07 08:28:01
Киберпанк, который мы заслужили
Сиолошная 2023-09-07 07:50:19
Главное еще помнить про эффект новизны и не забывать делать регресионные А/Б тесты позже, где "фича" убирается.
А то представьте, что вы незаметную кнопку в приложении перекрасили в красный цвет. Конечно люди будут на неё кликать из интереса! "Ого, никогда не замечал, а это что?". Как удивление пройдет - вполне вероятно, что кликабельность вернется к норме.
То же самое может быть и тут. Будем надеяться, в команде блоггера найдется человек, который подскажет
Oktavius 2023-09-07 07:50:19
A/B-тесты рта
Mr Beast рассказал, что эпоха обложек видео на ютюбе с открытым ртом окончена.
Его команда провела A/B-тесты, чтобы сравнить кликабельность версии, где у Mr Beast открыт рот, с вариантом, где он просто улыбается. Второй вариант выиграл во всех тестах.
Нативные A/B-тесты на ютюбе появились у ограниченного числа авторов этим летом. Можно загружать до трёх обложек и сравнивать их между собой.
gonzo-обзоры ML статей 2023-09-07 02:39:35
Falcon 180B подвезли
https://falconllm.tii.ae/falcon-180b.html
Falcon 180B is a super-powerful language model with 180 billion parameters, trained on 3.5 trillion tokens. It's currently at the top of the Hugging Face Leaderboard for pre-trained Open Large Language Models and is available for both research and commercial use.
This model performs exceptionally well in various tasks like reasoning, coding, proficiency, and knowledge tests, even beating competitors like Meta's LLaMA 2.
Among closed source models, it ranks just behind OpenAI's GPT 4, and performs on par with Google's PaLM 2 Large, which powers Bard, despite being half the size of the model
gonzo-обзоры ML статей 2023-09-06 19:16:19
One Wide Feedforward is All You Need
Telmo Pessoa Pires, António V. Lopes, Yannick Assogba, Hendra Setiawan
Статья: https://arxiv.org/abs/2309.01826
Забавная работа про трансформеры из серии, чего бы там можно было выкинуть.
Традиционные блоки трансформеров состоят из двух больших компонент: self-attention и полносвязный слой (FFN). Роль FFN типа в добавлении нелинейности в преобразования эмбеддингов токенов.
Но оказывается, скрипач не нужен. Можно выкинуть блок FFN из всего декодера, и оставить только один шаренный FFN в энкодере, и будет всё ок (с точки зрения точности на выходе). Ну и FFN можно сделать сильно шире, чтобы количество параметров итогового трансформера совпадало с исходным классической архитектуры. Такую конфигурацию называют One Wide FFN.
Проверяют соответственно на полном трансформере (encoder-decoder) на задаче перевода, оценивают по BLEU. Я бы для такой задачи выбрал что-то менее проблемное и более математически формализованное, честно говоря. Классификацию там какую-нибудь или предсказание какого-то ряда, или ещё что-то, но не перевод с BLEU.
Архитектура Transformer Big: N_enc = N_dec = 6, d_model = 1024, d_ff = 4096, 16 голов внимания. Есть вариант Base, где размерности (но не количество) слоёв и число голов в два раза меньше, а также глубокий энкодер и мелкий декодер, и на одном декодере тоже проверяли.
Шаринг FFN очень мало ухудшает результат. И даже выбрасывание FFN вообще не сильно всё портит (особенно, если только из декодера -- делают вывод, что вклад энкодера и декодера сильно разный). Оставляют конфигурацию SharedEncNoDec -- без FFN в декодере, и шаринг FFN в энкодере.
Она на 41% легче по параметрам, на 22% быстрее на инференс, и всё это ценой в -1.0 BLEU. А если теперь FFN расширить так, чтобы суммарно параметров осталось столько же, то +0.9 BLEU от базовой модели и почти такое же ускорение, как у предыдущей модели. Но ещё большее расширение FFN уже не помогает, списывают на маленький датасет.
Кроме точности смотрят также на похожесть внутренних репрезентаций (через Linear Centered Kernel Alignment, CKA) и семантических пространств (через Local Neighborhood Similarity, LNS). Тут в целом довольно близко всё к бейзлайну. Хотя у более широкой модели оно подальше, причем в основном в семантическом пространстве.
Заодно на хитмепах похожести репрезентаций видно, что соседние слои обычно имеют близкие репрезентации и наверное они избыточны, от выкидывания одного слоя сильно хуже не станет. У One Wide FFN этот паттерн интереснее, там проявляется шахматная картинка и близки оказываются слои через один. Хз что это значит, но авторы считают, что модель выучивает какие-то нетривиальные трансформации и избыточность сети понижается.
Не прорыв, но забавно в общем. Не удивлюсь, если однажды придём к какой-то одной универсально лучшей FFN, которую проще будет зашить в железо :)
эйай ньюз 2023-09-06 15:00:17
🔥Сегодня вышла просто гигантская модель Falcon 180B!
Иновационный Институт Технологий Абу-Даби удивляет. Их новая модель Falcon 180B теперь заняла первое место на открытом лидерборде HF. По качеству ответов она где-то между GPT-3.5 и GPT.4, примерно на уровне PaLM-2.
Параметры модели Falcon-180B:
- 180 млрд параметров! Напомню, что предыдущая самая мощная открытая модель была LLaMa-2 70B.
- Контекст 2048 токенов (но можно расширить с попощью RoPE scaling)
- Тренили 2.5 месяца на 4096 GPU на Amazon SageMaker.
- Модель видела 3.5 триллионов токенов (против 2 триллиона у LLaMa 2). То есть Falcon прочитала почти в 2 раза больше текстов.
- Multi-query attention (MQA) для скорости инференса и чтобы не раздувать количество параметров.
- Есть базовая и чатовая версии.
Забавно, что для инференса этой модели в int4 вам потребуется 8x A100 видеокарт (удачи!).
Лицензия позволяет очень ограниченное коммерческое использование.
❱❱ Веса и код доступны на HuggingFace HUB.
❱❱ Демо (жестко педалит).
@ai_newz
эйай ньюз 2023-09-05 08:34:37
Я, кажется, уже упоминал, что супервайжу несколько PhD студентов, которые пишут с нами научные работы. Так вот сейчас я ищу студента-магистранта из ETH, который бы писал свою магистерскую работу под моим надзором в коллаборации с одним профессором из ETH. Сегодня получил резюме от одного перспективного студента.
Вы только посмотрите какие клёвые курсы дают в магистратуре по Computer Science в ETH Zürich! На скрине – часть транскрипта студента. Те вещи, которые мне приходилось учить самому методом проб и ошибок, например Digital Humans или Shape Modelling, студентам в хороших ВУЗах уже преподают в структурированном виде.
Я уверен, что и в других вузах появляется куча новых актуальных курсов. Но даже если вы уже не студент, то в интернете можно найти такие же крутые онлайн курсы от ведущих университетов, которые можно изучать бесплатно!
@ai_newz
Neural Shit 2023-09-04 13:02:07
Наткнулся на статью о том, как девушка использует чат-бот вместо психолога: спрашивала какую карьеру выбрать, рожать ли ей детей и как простить Тейлор Свифт (????).
Сам я услугами психологов не пользуюсь (алкашки и шишек мне полностью хватает для этих целей) — но с интересом наблюдаю, как люди используют нейронки во благо себе. А так же радует, какими темпами развиваются языковые модели в этой области, особенно учитывая конские цены на психологов.
Бережем ментал хелз.
эйай ньюз 2023-09-03 21:45:07
Классный эксперимент с Гауссовскими Сплаттингом (я писал об этом методе на днях). Челик взял три картины, задал для них вручную разные позиции камер внутри ондной сцены и обучил сплаттинг.
В итоге при повороте камеры достигается такой интересный эффект перехода одной картины в другую. Сплатики научились отображать разные картины с различных углов.
Кстати, вот тут еще повилась имплементация рендеринга Gaussian Splatting внутри божественной библиотеки nerfstudio (подробнее про нее в этом посте).
@ai_newz
эйай ньюз 2023-08-31 13:40:26
Эндрю Ын вчера выкатил новый мини-курс: How Business Thinkers Can Start Building AI Plugins With Semantic Kernel
Курс длиной всего в 1 час и рассчитан на новичков - технического мяса там не ожидается. Нужно только знать Python.
Но обещают научить строить пайплайны с LLM, пользоваться памятью и писать плагины для решения бизнес-задач. Работа будет идти на базе Semantic Kernel — это SDK для языковых моделей от Microsoft, что-то похожее на уже известный нам LangChain.
Курс ведёт не хер с горы, а VP of Design and Artificial Intelligence из Microsoft.
Ссылка на курс (временно бесплатно)
@ai_newz
Neural Shit 2023-08-31 11:53:45
Обожаю видосы, на котрых автопилот теслы тупит в разных ситуациях.
Вот вам еще один