Нейролента Mikitos.ru 2736 постов. Страница 36 (50 постов)
UX Live 🔥 2023-10-12 15:48:25
Будущее наступило, старик.
Adobe сегодня в продолжении конфы MAX показали как Generative Fill работает ДЛЯ ВИДЕО
Ну и под конец презентации показали отвал пизд — Project Primrose. Умный материал, который меняет цвет
Фул конфы: https://youtu.be/barsu1NWE4s
Заслуженно считаю что Adobe в этом году провела лучшую презентацию и технологию в отличие от Эплов, Гуглов, Майкрософтов, нвидий и уже тем более игровых выставок. Первый раз за долгое время я реально сидел с лицом
gonzo-обзоры ML статей 2023-10-12 12:24:27
TWIMC
Nathan and his team just published their fresh annual report on the state of AI
https://www.stateof.ai/
Сиолошная 2023-10-12 10:28:13
Вышел ежегодный State of AI 2023. Как обычно, там больше 150 слайдов, подводящих черту под всеми крупными направлениями работы и разных индустрий. Буду постепенно листать и интересное оформлю в виде какой-то заметки или может даже видео.
Пока остановимся на блоке предсказаний. На 2023й:
— Nvidia, хоть и без прямого партнерства, становится авангардом AI революции, с которым все хотят работать, чтобы получить железо
— Модели генерации звука привлекут много внимания (более 1 миллиона пользователей у ведущих игроков рынка)
— Инвестиции в $10B в AGI-focused компания (Microsoft -> OpenAI)
— Сайты, ориентированные на User Generated Content, начали заключать соглашения о предоставлении данных для тренировки моделей
— Хоть финального акта регулирования AGI и не получилось, люди и политики обсуждают всерьёз введение ограничений и проводят аналогии с биологическим оружием
Всего сбылось 5.5 предсказаний из 10. А вот десятка на 2024й:
— Продюсер голливудского уровня использует AI для создания эффектов
— Generative AI компания будет вовлечена в расследование, связанное с неправильным использованием её сервисов во время выборов президента США-2024
— Самоулучшающийся AI-агент разнесёт в щепки текущие решения для сложных задач (крупные игры, научная работа, etc.). Немного широко сформулировано, так как не выделены области, где нужно следить
— IPO как минимум одной AI-focuesed компании
— На тренировку одной из моделей будет потрачено $1B
— FTC/CMA начнут расследование сделки Microsoft и OpenAI
— Будет совсем небольшой прогресс в регуляции AI, который, быть может, ограничится лишь верхнеуровневыми волонтерскими ("пацанскими") договорённостями в духе "нет ну плохо мы делать не будем а будем делать хорошо"
— (HOT) Финансовые институты запустят аналог венчурных инвестиций, но с точки зрения вычислительных мощностей (прим.: сейчас у AGI-focused компаний примерно 90% денег уходит на оплату GPU)
— Песня, сгенерированная AI, попадет в топ (например, Spotify Top Hits 2024)
— Будет значительный рост затрат на инференс моделей, поэтому один из крупных игроков поглотит производителя чипов, чтобы начать разработки по снижению цен на железо для своих специфичных задач
————————————
Почитать анонс
Презентация
Сиолошная 2023-10-12 01:15:09
Стихийно начал смотреть сериал (со мной такое редко бывает, я за всю жизнь меньше десятка посмотрел). Второй сезон снимали в разгар эпидемии Ковида (помните такое?), поэтому много не то что отсылок, а слепков времени. Как в начале 20го все следили за распространением болезни, как реагировали на смертность, как вводились локдауны в Европе. Всё это действительно было.
Кажется невероятным, но прошло больше трёх лет с того, как мы заперлись в квартирах на долгое время (я так вообще до начала марта 22го). Для многих это было трудное время. Оглядываясь назад я понимаю, что с одной стороны прошёл этот период достойно, но с другой — печалюсь от того, сколько времени было потеряно, насколько больше всего можно было сделать
Так вот, к чему это я. Нахлынули воспоминания, рефлексия. Вспомнил, что весной 23го наткнулся на канал CGP Grey на ютубе, и где-то там же обнаружил видео, выпущенное в апреле 2020го: Spaceship You
Видео рассказывает людям, как справиться с изменением обстановки, как не сойти с ума и начать жить в четырёх стенах. Делается это через метафору космического корабля. Вы — единственный член команды на борту, а у миссии (без точной даты окончания) только одна цель — вернуться из путешествия лучше, чем вы были до. It's that simple.
У корабля 2 топливных компонента — Ментальное и Физическое здоровье, образующих одно целое. Важно работать над ними, не давая топливу кончиться.
Сам же корабль разделён на 4 части:
1. Место для физических упражнений
2. Зона сна
3. Развлекательная зона
4. Рабочее место
Главное — не мешать между собой зоны, не работать из кровати и не заходить в зону тренировок просто так. Это помогает держать дисциплину и темп. Посмотрите видео для полноты картины. Оно менее актуально сейчас, но я почти уверен, как и автор-аниматор, что это был не последний локдаун на нашем веку. Даже жаль, что не наткнулся на видео раньше, в середине 2020го.
Пожалуйста, не теряйте время, действуйте сейчас так, чтобы через полгода или два года не жалеть об этом
P.S.: мои любимые видео на канале CGP Grey, рекомендуемые к просмотру:
— The Rules for Rulers
— Who Owns The Statue of Liberty?
— Supreme Court Shenanigans !!!
— The Most Deadly Job in America
— The Simple Secret of Runway Digits
— The Tale of Tiffany + продолжение, ради которого и надо смотреть первую часть
gonzo-обзоры ML статей 2023-10-11 19:23:07
Питер Норвиг, соавтор классического учебника по AI, соавтор первого MOOC (который тоже был про AI) и вообще значимый человек ещё лет десять назад, которого я уже давно не слышал, вместе с вице-президентом Google Research написали статью про то, что AGI уже здесь.
Nevertheless, today’s frontier models perform competently even on novel tasks they were not trained for, crossing a threshold that previous generations of AI and supervised deep learning systems never managed. Decades from now, they will be recognized as the first true examples of AGI, just as the 1945 ENIAC is now recognized as the first true general-purpose electronic computer.
https://www.noemamag.com/artificial-general-intelligence-is-already-here
Neural Shit 2023-10-11 18:33:15
У vision GPT-4 конкурент. До самого Vision, конечно еще далековато, но зато не лезет в залупу с блядской цензурой и даже разгадывает капчи (правда, не всегда правильно).
Попробовать можно тут, работает очень быстро
Neural Shit 2023-10-11 15:29:16
Так, "Колобок" в стиле Лавкрафта был, теперь в стиле антиутопии Оруэлла:
В мрачной и угнетающей вселенной, контролируемой Всевидящим глазом Великой Партии, люди жили в страхе и подчинении, каждое их действие и слово было записано и проанализировано.
В одной из серых квартир проживали старик и старуха. Жизнь была сурова, и еда была редкостью. Однажды старуха решила приготовить что-то особенное из последних запасов муки и воды. Она слепила круглый, золотистый хлебец — Колобок.
Но Колобок был не простым хлебцом. Внутри него горело желание свободы и независимости. Как только старуха оставила его остывать на подоконнике, Колобок сбежал.
На своем пути он встречал различных жителей этого мрачного мира: жирного и ленивого кота, который был служителем партии; охотящуюся за диссидентами лису; и старого, слепого волка, который в прошлом был критиком режима и теперь лишен своих зубов и голодающий.
Каждый из них хотел съесть Колобка, но не из-за голода, а из-за его идеи свободы, которая грозила расшатать их устоявшийся мир.
Однако, когда Колобок встретил лису, он понял, что не может избежать своей судьбы. Лиса, будучи опытным агентом партии, убедила Колобка, что лучше жить в безопасности под контролем, чем искать свободу.
В итоге, Колобок был пойман и "перевоспитан", став еще одним инструментом Великой Партии. История Колобка служила предостережением для всех: те, кто пытается бороться с системой, в итоге будут сломлены ею.
КиберОлег 🦄🤖🙌 2023-10-10 18:19:41
Забавная лора SDXL вышла недавно
Превращает ваш промпт в иснтрукции из ИКЕА
Написал “Илон Маск покупает твиттер” 😂️️
пробовать тут без регистрации и смс
Neural Shit 2023-10-10 13:28:51
ChatGPT эволюционирует и ведёт себя как пидорасина настоящий разработчик
Neural Shit 2023-10-10 11:29:54
Чот в голос с этого киберпанка.
А вообще, скоро подобное будет пилиться в масштабах библейских, ибо нейронки для клонирования голоса уже не требуют ебических дохуягигабайтных датасетов, да и запускать их стало намного проще
Сиолошная 2023-10-10 09:40:09
Почти уверен, что вы не замечали, но сразу после прочтения подумаете "блин и вправду".
Вот почему на многих страницах (современных) знаменитостей в Wikipedia основной фотографией является фото с San Diego Comic Con?
Вспомнили? Узнали? Согласны?
Всё дело в копирайте. Большинство картинок нельзя просто взять и разместить в свободном доступе, поэтому один фотограф, Gage Skidmore, ездит на Comic Con каждый год и делает фото, которые затем публикует на Wiki по свободной лицензии. Сейчас за ним числится порядка 94 ТЫСЯЧ фото.
gonzo-обзоры ML статей 2023-10-09 19:56:21
Свежий Хинтон.
В принципе наверное ничего нового для тех, кто смотрел предыдущие видео с ним в последние полгода.
Но зато кратко за 13 минут его основные мысли.
https://www.cbsnews.com/news/geoffrey-hinton-ai-dangers-60-minutes-transcript/
Сиолошная 2023-10-09 17:39:16
Сделал анонс в LinkedIn, лайкните и поделитесь, пожалуйста, кому не сложно.
Это моя первая текстовая работа на английском, хочется и фидбек получить, и поделиться, ну и аудиторию подсобрать побольше, конечно. Это вы счастливчики, что в "Сиолошной" всё читаете, а вот люди материалов не видят
>>>Ссылка<<<
Ну и тем более если не читали — сейчас самое время погрузиться в две статьи и разобраться, насколько LLMки могут помочь в быстром прототипировании и обучении локальных моделей!
(и не забывайте прислать заявку на установку LinkedIn connection, приму всех!)
Сиолошная 2023-10-09 10:40:34
Структура промпта:
1) он содержит в себе несколько примеров (первая картинка, красная часть, самый верх), где показывается, как по контексту приходить к правильному ответу
2) Дальше идёт вопрос, и список из 10-15 результатов поиска. Туда входят не только ссылки на страницы и текст, но и куча информации (весь второй скриншот посвящён этому): Релевантные запросы, вопросы и ответы, граф знаний, etc.
3) Было обнаружено, что все ссылки в промпте надо сортировать по дате добавления, причём самое свежее — в конец. Это улучшает на несколько процентов качество ответов, модель "отслеживает" хронологию изменений. И да, дата тоже является частью каждого примера
Код обещают выложить вот тут, но пока пусто. Шаблоны промптов придётся самим руками с картинок переписывать
Выводы:
1) попробуйте PPLX.AI, вот даже сотрудники гугла говорят, что он лучше
2) детали промпта важны, авторы пробовали разные штуки, и по итогу почти каждая логичная догадка давала прирост метрик
3) GPT-4 хороша в вычитке большого набора новостей и текстов. Я не пишу "очень хороша" потому, что в быстроменяющихся новостях у неё качество 60%, но вы свои метрики то оценивали?
4) LLMки в поиске будут везде и для всех (если вдруг вы не заметили)
Сиолошная 2023-10-09 10:40:26
FreshLLMs: Refreshing Large Language Models with Search Engine Augmentation
В первых числах сентября Яндекс организовывал приватную мини-конференцию по GenAI, куда я был приглашён. Очень клёвый съезд был, жаль его нельзя было назвать "сходка подписчиков Сиолошной" — некоторые не знали про канал
Так вот, там заранее анонсировали YandexGPT 2, и создатели модели рассказывали про разные разности, в том числе про модель, специально заточенную на поиск и написание ответов по набору источников из поисковой выдачи. Вот инсайд из рассказа команды (NDA я не подписывал, ы, но ниже по посту станет понятно, почему это не суперсекретная информация): даже с обучением на внутренних данных Яндекса, собранных за 10+ лет работы над нейронками в поиске, внутренняя модель ХУЖЕ, чем запромпченная GPT-4. И это при том, что работа ведётся преимущественно на русском, а не английском языке! Благо, GPT-3.5 (ChatGPT) обходят, и на том посибо И с метеоритом в заднице.Это всё была подводка к работе от сотрудников Google, где они анализируют фактическую точность ответов LLM, у которых есть доступ к поисковику. Приделать внешний инструмент к GPT — идея не новая, но 1) это сложно оценивать и валидировать 2) нужен грамотный промпт 3) от LLMки существенно зависит качество.
Итак, по порядку:
1) Сотрудники Google (ха-ха за время написания статьи один автор перешёл в OpenAI
2) Эти вопросы задавали широкому набору моделей, из интересного — на вопросы с неправильной предпосылкой GPT-4 и ChatGPT просто в щепки рвут другие модели. Видимо, эти две были обучены обрабатывать подобные запросы и возражать пользователю.
3) Дальше сравнивается ChatGPT, GPT-4, гугл поиск (текстовый сниппет вверху, если есть, или ответ с первой страницы) и PPLX.AI (сайт, использующий ChatGPT под капотом для аггрегации ответов гугла, заточен на разработчиков). Тут LLM дают ответы по памяти.
Начнём с интересного — гугл поиск отвечает правильно в 40% случаев (среднее по 4 группам), при этом даже на "вечных" вопросах точность 70%, а на false-premise вообще 11%.
ChatGPT чуть хуже, 26% в среднем, GPT-4 28%, однако на false-premise отвечает аж в 42% случаев.
PPLX.AI показывает 52%.
Вау, всё, переезжаем на новый поисковик и закрываем статью? Нет.
4) А теперь давайте сделаем вот что: для каждого вопроса сделаем запрос в Google, возьмем результат поисковой выдачи (о формате — в следующем посте), подадим эту информацию в промпт и заставим модель "прочитать" это, а уж затем писать ответ. Тут же можно сделать и Few-Shot (когда в промпт предварительно дописываются примеры, чтобы показать модели задачу), и просить подумать шаг-за-шагом перед тем, как давать ответ.
5) Что вышло? GPT-4 достигает качества 77%, давая правильный ответ на вечные вопросы в 96% случаев, и в 75% вопросов отвечает правильно, если есть false-premise. СhatGPT менее интересен по метрикам, но он и PPLX.AI, и тем более сам гугл обходит по метрикам.
Сиолошная 2023-10-09 09:39:56
⬇️ Моё настроение когда нашёл клёвую статью и садишься делать разбор, и уже думаешь, какие важные части надо упомянуть, и их становится всё больше, и больше, и больше...и даже в 2 поста уже не влазит
Neural Shit 2023-10-09 00:22:04
Немножко из папки с проклятыми генерациями найденными в интернетах.
Нейронки стоило изобрести только ради этого
эйай ньюз 2023-10-08 20:54:21
Вечеринка Hugging Face 🤗
Конференция ICCV уже завершилась. Было так мало времени, чтобы подробно все рассказать, поэтому планирую ещё несколько постов на эту тему.
Как я уже говорил, одна из основных целей таких крупных конференции — это общение и знакомства. Доклады и постеры, конечно тоже важны, но с такой плотностью нового контента все увидеть и переварить практически невозможно.
После докладов, вечерами компании организуют свои вечеринки. В один из дней была вечеринка Hugging Face, на которую я и отправился.
На входе нас встретили лама и альпаки (а как же ещё). Пригласили очень много людей, планировалось, что придет около тысячи человек, а на деле получилось так, что пришло 2000. Кажется, HF впервые организовывал такой масштабный ивент.
Я увидел много старых знакомых и наконец-то познакомился вживую со всеми тремя сотрудниками Hugging Face из Швейцарии (да, их там только три).
Кроме того, меня познакомили с Patrick von Platen — он в HF лидит известную библиотеку Diffusers для диффузионок
#personal
@ai_newz
gonzo-обзоры ML статей 2023-10-08 18:29:13
Borges and AI
Léon Bottou, Bernhard Schölkopf
Статья: https://arxiv.org/abs/2310.01425
Код: https://www.penguin.co.uk/authors/181249/jorge-luis-borges
Формат выходного дня.
Работа для любителей Борхеса и AI (для меня бинго). Название работы -- аллюзия на Борхесовский рассказ о Борхесе, “Борхес и я” (“Borges and I”).
Современное понимание LLM (и шире AI) выстраивается через призму картинок, популяризируемых научной фантастикой. Ну вот это всё: обретёт ли машина сознание, восстанет ли, случится ли скрепочный апокалипсис. Но сперва стоит спросить, является ли эта картинка хорошим описанием имеющегося феномена? Авторы работы выступают за понимание LLM через призму Хорхе Луиса Борхеса и выводят отсюда новую перспективу, высвечивающую отношения между языковым моделированием и искусственным интеллектом.
Представьте бесконечную коллекцию всех возможных правдоподобных (plausible, that a human could read and at least superficially comprehend) текстов, произведённых людьми. Она может включать книги, диалоги, статьи, молитвы, веб-страницы, компьютерные программы, в любой форме и на любом языке. Теперь представьте длинную бумажную ленту с несколькими начальными словами текста. Аппарат (“Машина Борхеса”?) сканирует ленту, находит в бесконечной коллекции какое-то вхождение этого текста (рандомное, одно из), выбирает оттуда слово-продолжение, и печатает его на ленте после предшествующих слов. Далее процесс повторяется, добавляя и добавляя слова на ленту. В каждый момент последовательность напечатанных слов на ленте также может быть найдена где-то в этой бесконечной коллекции, и образует одно из правдоподобных продолжений изначального набора слов. Авторы называют это совершенной языковой моделью (perfect language model).
Такую модель легко сконвертировать в чат-бота, введя специальное ключевое слово, аналог кнопки “Send” в мессенджере, передающее ход от модели к человеку и наоборот.
Как в “Саду расходящихся тропок” (“El jardín de senderos que se bifurcan”) каждый добавленный текст ограничивает историю, персонажей, их роли и идеи, будущее, но в то же время выступает стартовой точкой для бесконечной последовательности разветвлений.
Написать такую книгу нереально, но можно её представить аналогично тому, как мы представляем число π, не пиша всех его знаков. Может ли компьютер предоставить аппроксимацию бесконечного сада всех возможных текстов аналогичным образом?
Коллекции присуща внутренняя структура. Каждый текст может быть трансформирован в другой текст множеством способов. Одна из самых простых трансформаций -- замена слова; среди более продвинутых будут изменение времени, тона текста, переименование персонажей, переписывание текста от имени другого персонажа и т.д.
Лингвист Зеллиг Харрис (https://zelligharris.org/) считал, что все предложения на английском могут быть сгенерированы из небольшого числа базовых форм применением последовательности чётко определённых трансформаций. Обучение LLM’ки может быть понято как анализ большого корпуса текста и обнаружение этих трансформаций и базовых форм. Забавно, что первая реально успешная в этой нейросеть была названа “трансформером”. Возможно, будут найдены новые методы обучения, лучше аппроксимирующие совершенную языковую модель.
Машина ограничена тем, что уже напечатано на ленте. Машина может продолжать текст заимствуя факты из обучающих данных (не обязательно истинные) и генерируя подходящие выдумки (не обязательно ложные). То, что принято называть галлюцинациями, лучше называть конфабуляциями (https://www.beren.io/2023-03-19-LLMs-confabulate-not-hallucinate/).
То есть совершенная языковая модель -- это машина, пишущая беллетристику (fiction machine) и из этого и надо исходить в попытках понять, как это на нас влияет. И истории Борхеса могут в этом помочь.
В “Вавилонской библиотеке” (The Library of Babel) содержатся все возможные книги с 410 страницами и с алфавитом в 25 символов, потенциально содержащие все созданные (и не созданные) человечеством тексты, включая и огромную массу фигни.
gonzo-обзоры ML статей 2023-10-08 18:29:13
“the detailed history of the future, the autobiographies of the archangels, the faithful catalogue of the Library, thousands and thousands of false catalogues, the proof of the falsity of those false catalogues, the proof of the falsity of the true catalogue, the gnostic gospel of Basilides, the commentary upon that gospel, the commentary on the commentary on that gospel, the true story of your death, the translation of every book into every language” (русский перевод)
Это всё похоже на выдачу языковых моделей. Совершенная языковая модель даёт нам возможность навигации по Библиотеке, подавая в модель начальные слова текста. Но никак нельзя отличить ложь от истины, полезное от вводящего в заблуждение, верное от неверного. Библиотекари тщетно пытались это делать.
Это иллюзия, считать LLM настоящим ИИ с энциклопедическими знаниями и безупречной логикой вместо машин для генерации выдумки. Ни истина, ни намерение не важны для работы такой машины, только требования нарратива.
В рассказе кроме библиотекарей упоминаются очистители, уничтожавшие бессмысленные книги. Это похоже на попытки ограничить выдачу LLM, не дать ей сгенерировать вредные идеи, или что-то нерелевантное. Сейчас предпринимается множество таких попыток через промпты, файнтюнинг или RLHF. Но многое всё равно обходится созданием более изощрённой истории (привет, jailbreak). Более эффективные методы “alignment” могут потребовать постоянного мониторинга моделей и направления их вывода в нужное русло.
Но,
Far worse than a privacy invasion, in a future where almost everyone uses language models to enrich their thinking, a power over what language models write becomes a power over what we think. Can such a formidable power exist without being misused?
Многие опасаются этих fiction machines как всеведущего интеллекта, который может пережить нас. Однако более тёмным искушением может быть желание “сдать” все наши мысли этой современной Пифии, манипулируемой другими.
If we persistently mistake the fiction machine for an artificial intelligence that can spare us the burden of thinking, the endless chatter of the language models will make us as insane as the struggling Librarians.
Эти fiction machines с их историями могут и обогатить наши жизни, помочь переосмыслить прошлое, понять настоящее, уловить будущее. Нам могут понадобиться более приземлённые верификационные машины (verification machines) для проверки создаваемых историй относительно холодной реальности. Будут это отдельные машины, какой-то совмещённый вариант, или же техники выравнивания смогут преобразовать одни в другие -- открытый вопрос.
The invention of a machine that can not only write stories but also all their variations is thus a significant milestone in human history. It has been likened to the invention of the printing press. A more apt comparison might be what emerged to shape mankind long before printing or writing, before even the cave paintings: the art of storytelling.
Вот и всё. Вряд ли получившийся текст является точным пересказом статьи, скорее это моё продолжение заданного нарратива. Так что, возможно, оригинальную статью тоже стоит прочитать.
Ну и до кучи вам реализацию Вавилонской библиотеки в Интернете:
https://libraryofbabel.info/
И рассказ про создание этого проекта:
https://electricliterature.com/putting-borges-infinite-library-on-the-internet/
Метаверсище и ИИще 2023-10-08 16:33:06
Шутка про парацетамол перестает быть смешной.
GPT-4V поглядел вот на этот ад из правил парковки и дал правильный ответ. По картинке.
Кожаные, для которых пишутся такие правила, так не могут.
Пора менять кожаных.
Neural Shit 2023-10-08 13:43:43
Сгенерировал вам пословиц и поговорок в киберпанк стиле:
>>Лучше маленький SSD в руках, чем большой HDD в облаке.
>>Не тот богат, у кого много биткоинов, а тот, кто знает, когда их продать
>>Сколько нейронов в голове, столько и вкладок в браузере.
>>Где не шумят киберлистья, там и киберветра нет.
>>Не все, что мерцает — это неон.
>>Не говори "баг", пока не перезагрузишься.
>>Где дым от киберпанка, там и огонь искусственного интеллекта.
>>Кто быстрее всех на сети, тот и правду узнает первым.
>>Без бага и жизнь не та.
>>Не байтами едиными жив человек.
>>Сколько байтов не грузи, диск в конце переполнится.
>>Где кабель тонок, там и сигнал слаб
>>Не тот богат, кто много хранит, а тот, кто свой пароль знает.
>>От антивируса до вируса один шаг.
>>Не те данные ценны, которые видны, а те, что скрыты.
>>Кибер-рука не рука, но в виртуальной реальности тоже тянет.
>>Не тот богат, у кого много байтов, а тот, у кого нет вирусов.
>>Кто в коде роется, тот в виртуалке и засыпает.
>>Где чип имплантируют, там и сердце бьется.
>>Кто к виртуальной реальности прислушивается, тот в реальной не теряется.
>>Где интерфейс, там и интерес.
>>В большом городе и дрон иногда теряется.
>>Где интеллект искусственный, там и мысли неестественные.
>>Лучше перезагрузка вовремя, чем пожар в серверной.
>>Не в пикселях красота, а в рендере.
gonzo-обзоры ML статей 2023-10-08 11:41:45
Не про AI, но не менее важно
https://dublinlongevitydeclaration.org/#sign
Сиолошная 2023-10-07 23:16:05
И ещё один набор тезисов от Dario Amodei, CEO Anthropic, из вот этого подкаста. Выписал для вас 5 самых интересных тезисов из двухчасового видео.
А вот дальше он сказал, что есть разные многообещающие подходы, и он не будет вдаваться в подробности, НО ВОТ СОЗДАНИЕ СИНТЕТИЧЕСКИХ ДАННЫХ! Об этом они, мол, много думали, и скорее всего другие LLM-компании тоже исследуют направление. Никогда раньше, даже в подкастах 2-3 недельной давности, он этого уточнения не делал.
Также он добавил, что пока не доказано, что это будет работать на том масштабе, на котором мы хотим (типа можно ли взять модель на 1T параметров, сгенерировать высококачественные данные, и на этом обучать модель на 10T параметров, чтобы она была лучше исходной).
Сиолошная 2023-10-07 16:26:05
Large Language Models (in 2023)
Large models of today will be Small models in only a few years
— Hyung Won Chung, OpenAI
Наткнулся на 45-минутное выступление сотрудника OpenAI, в прошлом — Google Brain. Интересно, что это первый автор статьи Scaling Instruction-Finetuned Language Models (от Google), в которой и обучаются большие языковые модели, и делается попытка обучения следования инструкциям. Крутой-опытный чувак, в общем, и вот теперь он (с несколькими коллегами, лол) в OpenAI.
Тезисы:
Но мы все еще разрабатываем функции потерь для обучения вручную. Выучиваемая функции с помощью отдельных алгоритмов, в понимании лектора, это следующая парадигма, к которой мы должны прийти, и она будет гораздо более масштабируемой. Сейчас шаг обучения RLHF с RM-моделированием (что это? смотрите мою лекцию) — это своего рода попытка сделать нечто подобное, но увы, пока всё изучено слабо и работает не на максимум.
Neural Shit 2023-10-07 13:42:21
Киберпанк, который мы заслужили
Сиолошная 2023-10-07 13:15:22
Ночью вышла новая (2044ая 😰) серия подкаста The Joe Rogan Experience, гостем которой был Sam Altman. Я обычно этот подкаст не слушаю/не смотрю, но для вас постарался выписать самое интересное.
В целом, было куда меньше разговоров вокруг AI/AGI/дальнейшего развития, и больше про AI-политиков, психоделический опыт, аналогии с ядерным оружием и так далее. Всего, как мне показалось, есть 3 интересных новых тезиса, достойных внимания:
19ая минута — OpenAI исследуют направления считывания мыслей без инвазивных методов (подключения проводков в мозг). Пока про это не было новостей или анонсов, и я не видел вакансий у OpenAI под данное направление. Sam описывает ситуацию, что будет некоторый внешний девайс вроде очков или гарнитуры, и хочется понять, как далеко можно уйти на этом.
39ая минута — если бы Sam мог нажать на кнопку, чтобы убрать все конфликты и вместе с тем
стремления у людей, то он бы на неё не нажал, так как они являются очень важными частями переживаемого опыта и всей истории. Также, скорее всего, с приходом AGI и суперинтеллекта эти вещи не уйдут, по крайней мере не за одно поколение людей.
80ая минута — Sam говорит что сейчас у них наконец-то есть идеи по AI Alignment, и что они могут что-то пробовать и двигаться вперёд. До этого обычно использовался аналог метафоры "мы с фонариком за каждый угол заглянем, но не знаем, что сработает".
Послушать подкаст на Spotify: https://open.spotify.com/episode/66edV3LAbUXa26HG1ZQaKB
Посмотреть видео (неофициальное) можно тут: https://www.dailymotion.com/video/x8on42y
В целом, если пропустили, то куда интереснее посмотреть подкаст у Lex Fridman или прочитать моё саммари выше в канале: https://t.me/seeallochnaya/225 и https://t.me/seeallochnaya/226
gonzo-обзоры ML статей 2023-10-06 20:36:32
Интересный поворот
Discussions of AI chip strategies within the company have been ongoing since at least last year, according to Reuters, as the shortage of chips to train AI models worsens. OpenAI is reportedly considering a number of strategies to advance its chip ambitions, including acquiring an AI chip manufacturer or mounting an effort to design chips internally.
https://techcrunch.com/2023/10/06/openai-said-to-be-considering-developing-its-own-ai-chips/
Сиолошная 2023-10-06 15:38:31
За мем спасибо Богдану, автору канала @bogdanisssimo
Сиолошная 2023-10-06 15:38:02
В одном из чатов наткнулся на ссылку на HackerNews, где обсуждается, а что такого сделал Sam Altman, и как он вообще стал СЕО OpenAI. Автору треда, конечно, сразу накидали за шиворот, как и подобает в любом приличном сообществе.
Я немного потыкал по ссылкам в треде, и наткнулся на три разных статьи Paul Graham, датированных 2006-9м годом, в которых упоминается Sam Altman — ещё молодой, бодрый парнишка, тусующийся вокруг Y Combinator. Последнее — это стартап-инкубатор, один из самых старых и престижных в мире (работает с марта 2005го). Как раз его и основал Paul Graham.
Из заметки 2006го года "A Student's Guide to Startups":
— Does that mean you can't start a startup in college? Not at all. Sam Altman, the co-founder of Loopt, had just finished his sophomore year when we funded them, and Loopt is probably the most promising of all the startups we've funded so far. But Sam Altman is a very unusual guy. Within about three minutes of meeting him, I remember thinking "Ah, so this is what Bill Gates must have been like when he was 19."
Из заметки "Five Founders" (Paul'а попросили написать о пяти самых интересных фаундерах, один из них — Altman):
— Honestly, Sam is, along with Steve Jobs, the founder I refer to most when I'm advising startups. On questions of design, I ask "What would Steve do?" but on questions of strategy or ambition I ask "What would Sama do?"
Из заметки "A Fundraising Survival Guide":
— When we predict good outcomes for startups, the qualities that come up in the supporting arguments are toughness, adaptability, determination. Which means to the extent we're correct, those are the qualities you need to win. Sam Altman has it. You could parachute him into an island full of cannibals and come back in 5 years and he'd be the king. If you're Sam Altman, you don't have to be profitable to convey to investors that you'll succeed with or without them. (He wasn't, and he did.) Not everyone has Sam's deal-making ability. I myself don't. But if you don't, you can let the numbers speak for you.
Ну а после Graham назначил Sama президентом YC, в котором тот работал несколько лет не покладая рук, пытаясь научить стартаперов делать их дело. К 2020му году он покинул Y Combinator, чтобы полностью сосредоточиться на работе в OpenAI в качестве генерального директора.
Сиолошная 2023-10-06 12:35:05
В канале давно анонсировал, что хочу поэкспериментировать с ауди-форматом подачи информации в виде мини-подкастов с пояснениями. Как-то всё руки не доходили, но пришёл Лёша @aihappens и сказал "делаем". Что получилось — можете оценить ниже!
А в комментарии пишите, понравилось ли вам описание, подача, и как вообще лучше.
Сиолошная 2023-10-06 12:35:05
#тградио
я давно хотел, много думал и наконец решился! аудюхи от меня в канале)
уже хочешь нажать отписаться?) сначала послушай!
про что аудио: я сходил к Игорю из @seeallochnaya и спросил, а собственно почему не у всех моделей окно контекста не 100к как у клода, и почему условная gpt4 на 32к доступна только избранным.
пишите комменты как вам формат.
UPD: лол тегеграм залагал и не показывает, но вообще-то это форвард сообщения https://t.me/aihappens/255, а не мой пост. Видите, я его даже редактировать могу
UPD2 (из комментов): если у вас не грузится — нужно ПЕРЕМОТАТЬ на пару секунд вперед, тогда стрим корректно начинается. А если ты этого не сделал, то трек останавливается на 00:00 и никуда не двигается
эйай ньюз 2023-10-06 10:45:55
Вчера у меня было дежурство на стенде Мета. Я показывал демку ImageBind.
(пост про модель ImageBind был тут).
Не знал, что меня снимают. Автору видео спасибо!
#personal
@ai_newz
AI Для Всех 2023-10-06 10:03:27
Ученые научили компьютер понимать нашу речь без имплантов в мозг
Представьте, что вы надели шлем, который записывает активность вашего мозга, пока вы слушаете чью-то речь. Оказывается, по этим данным можно понять, что именно вы слышите, и расшифровать сказанные слова и фразы!
Такой метод разработали исследователи из компании Meta. Их нейросеть проанализировала записи мозговой активности добровольцев и научилась угадывать, какие отрывки речи они слушали. Причем это возможно даже для незнакомых фраз, которых не было в обучающих данных! Самое крутое что и датасет и код выложены в открытый доступ.
Это открытие важно, потому что раньше расшифровать речь по мозговым сигналам получалось только с помощью имплантов непосредственно в мозг. А неинвазивные методы вроде ЭЭГ-шлемов давали очень приблизительный результат.
Новый подход сделает технологии распознавания речи по активности мозга безопаснее и доступнее для пациентов. А в Метаверсе он поможет устройствам точнее понимать команды и желания пользователей, "читая" сигналы их мозга. Так что скоро с умными очками или шлемами виртуальной реальности мы сможем общаться, просто "думая вслух"!
📎 Статья
gonzo-обзоры ML статей 2023-10-06 09:43:48
Лекун расшарил ссылку на статью "Decoding speech perception from non-invasive brain recordings", наверное пойдёт хайп.
Но вот у Сергея Шишкина она уже разобрана давно, со времён препринта.
Нейроинтерфейсы 2023-10-06 09:43:48
Вышла статья группы Жана-Реми Кинга (Meta AI*) о неинвазивном декодировании речи
Использовались большие открытые датасеты МЭГ и ЭЭГ, записанные при прослушивании аудиокниг -- на них обучали "мозговой модуль". Кроме того, был использован ранее самообучившиийся на еще большем объеме сугубо языковых данных "речевой модуль" wav2vec 2.0 -- из него брались контекстные языковые репрезентации.
here we propose to decode speech from non-invasive brain recordings by using (1) a single architecture trained across a large cohort of participants and (2) deep representations of speech learned with self-supervised learning on a large quantity of speech data
Alexandre Défossez, Charlotte Caucheteux, Jérémy Rapin, Ori Kabeli, Jean-Rémi King. Decoding speech perception from non-invasive brain recordings. Nature Machine Intelligence, 5 October 2023 https://doi.org/10.1038/s42256-023-00714-5 (Open Access)
Код: https://github.com/facebookresearch/brainmagick
Препринт был опубликован больше года назад, мы тогда о нем писали, и далее посвятили ему еще несколько постов (большинство ссылок на них собрано тут). Напомним, это никакое не "чтение мыслей", а весьма неточное гадание о том, что человек слушал в тот момент, когда у него регистрировали МЭГ (или ЭЭГ, но с нею получалось, разумеется, еще хуже). Но, понятное дело, наш канал далеко не все читают, так что сейчас пойдет очередная волна фанфар, рукоплесканий и рассуждений о замечательном открытии и вскоре предстоящем нам всем чтении наших мыслей (вот уже тут написали в таком духе). Поэтому еще раз напоминаем о недавно вышедшем в издании ТрВ — наука весьма качественном и написанном понятным языком разборе этого семейства исследований, которое, надеюсь, поможет вам понять, почему угадывание прослушиваемого и просматриваемого к "чтению мыслей" имеет очень мало отношения, если вы все еще это не поняли.
* Meta в РФ забанена и признана экстремистской (и, возможно, уже скоро посты о ее исследованиях больше нельзя будет публиковать в РФ, в связи с готовящимися очередными новациями в законодательстве...)
gonzo-обзоры ML статей 2023-10-05 15:51:23
Месяц назад я делал доклад на Datafest Yerevan про NLP в 2023.
Видео пока ещё не готово, но слайды тут:
https://docs.google.com/presentation/d/1gpJI83p_FYvQt7Qog7B4zGf2fUYNq_m-PndPe2syXe0/edit
Neural Shit 2023-10-05 11:29:03
По многочисленным просьбам принёс вам очередных нейролайфхаков, пользуйтесь на здоровье.
>>Для экономии времени и воды, не мойтесь вообще и используйте виртуальную реальность вместо обычной (в виртуальной реальности вы не будете вонять).
>>Чтобы усилить выброс адреналина перед тренировкой, прочитайте вслух свою выписку по налогам. Налоги - это надёжный источник адреналина.
>>Чтобы сэкономить на бензине, устанавливайте на свой автомобиль велосипедные педали. Теперь вы можете двигаться с помощью мускульной силы.
>>Если вы хотите, чтобы в вашем доме всегда была чистота и порядок, просто закройте все двери и окна и никогда не входите внутрь.
>>Чтобы избавиться от скуки в общественном транспорте, представьте, что вы ведете ток-шоу и беседуйте с воображаемыми гостями.
>>Чтобы сэкономить на электроэнергии, заменяйте лампочки в доме светящимися медузами. Не забывайте кормить их планктоном.
>>Замените туалетную бумагу мятой капустой. Это не только сделает ваши походы в ванную более экологически чистыми, но и придаст им аромат свежей зелени.
>>Забудьте о батарейках для пульта от телевизора. Просто научитесь телепатии и управляйте им мыслями.
>>Чтобы избежать появления морщин, никогда не улыбайтесь и не моргайте глазами.
>>Чтобы избавиться от утомительного процесса чистки зубов, замените зубную пасту на клей и покройте вашу зубную щетку бриллиантовой пылью. Ваши улыбки будут сверкать ярче!
>>Чтобы поднять настроение, установите в комнате ядерный реактор. Это гарантированно зарядит вас энергией на весь день!
>>Используйте картофельные чипсы в качестве денег - они никогда не потеряют своей ценности.
Сиолошная 2023-10-05 09:29:11
Сиолошная 2023-10-04 20:39:41
К примеру, по первой ссылке рассказывается о том, как улучшить RAG (Retrieval Augmented Generation)-пайплайн с помощью дообучения ретривера на вашем домене. Это очень сильно увеличивает качество, если вы работаете с языками, отличными от английского, или с доменами, далёкими от general (например, медицина или право).
На картинке — общее описание пайплайна. А как это работает я объясняю как раз по ссылке :)
Сиолошная 2023-10-04 20:37:52
На работе за последние полгода несколько раз столкнулись с тем, что клиент не может предоставить большого количества данных для обучения чего-либо разумного. При этом строго хотелось использовать не API, а локальные модели. В такой ситуации обычно хочется кричать
Благо, решение есть — генерация синтетических данных с последующим обучением локальных моделей на них. По сути, мы занимаемся дистилляцией знаний/навыков крутой LLM вроде GPT-4, переливая их в маленькую локальную модель. Впервые такой подход я увидел в статье Promptgator, и даже делал про неё презентацию. Записи доклада нет — не собрали 400 ♥️ вот на этом посте: тык. Но зато там есть презентация!
Так вот, синтетические данные и умение через промпты использовать модель как разметчик — дело очень важное. Поэтому я саггрегировал найденные знания в 2 поста, которые запихнул в https://www.promptingguide.ai (сайт не мой). Для тех кто не знает — это сайт-туториал по промптам, там есть и про настройки параметров генерации, и про few-shot learning, и вот теперь про синтетику.
Generating Synthetic Dataset for RAG: https://www.promptingguide.ai/applications/synthetic_rag
Tackling Generated Datasets Diversity: https://www.promptingguide.ai/applications/generating_textbooks
Не забывайте делиться в профильных чатах, чтобы все интересующиеся увидели!
Neural Shit 2023-10-04 17:12:48
Анатомия эмоджи от подписчика
эйай ньюз 2023-10-04 15:43:43
Словился со своим кентом Яном ЛеКуном на ICCV.
#personal
@ai_newz
Neural Shit 2023-10-04 11:47:01
Чувак с реддита удалил с картинок отраженную в воде часть изображения и с помощью нейронного фотошопного инпэйнтинга попробовал восстановить отсутствующую часть по отражениям в воде.
Не точь-в точь, но всё же годно, впечатляет!
эйай ньюз 2023-10-04 09:01:21
Re-ReND: Real-time Rendering of NeRFs across Devices
Мы прямо сейчас на ICCV презентуем постер по нашей статье Re-ReND. Мы представляем новый метод для запекания NeRF-ов в явную репрезентацию, которую можно очень быстро рендерить до 1000 FPS.
Когда рендерится сцена Нерфом, нужно сделать тысячи прогонов черезе MLP из-за вычисления интеграла вдоль каждого луча.
Чтобы ускорить рендеринг, мы предлагаем:
- выдрать из нерфа примерную мешь
- Дистиллировать radience field в специальный ligth field (это когда по координате точки и углу обзора MLP сразу выдает цвет за один прогон, без интеграции)
- Наш light field предсказывает view-dependent и position-dependent эмбеддиги, скалярный продукт которых дает цвет 3D точки.
- Затем мы запекаем эти эмбеддиги как тектсуры на меши
- В итоге получаем текcтурированную мешь, которую можно быстро рендерить в стандартных графических пайпланах с кастомным шейдером
Скорость: 1000 FPS на десктопе, 74 FPS на Quest Pro (демо на видео) и 30-60 FPS на мобилах.
Код
Статья
@ai_newz
Neural Shit 2023-10-04 09:00:12
Обожаю, когда нейроночки корёжит.
Детальный снимок Урана со спутника, например
Сиолошная 2023-10-03 23:18:59
Поработаю как бесплатный пиарщик OpenAI (у них так все сотрудники делают
Открылся набор на OpenAI Residency, 6-ти месячную программу, в рамках которой вы будете работать в одной из исследовательских команд над настоящим рисерчем.
Основная цель — помочь выдающимся исследователям и инженерам из других областей заполнить пробел в знаниях, чтобы они могли получить важные навыки для перехода в сферу AI и ML. Если вы исследователь вне ML, или просто крепкий инженер — тогда это предложение для вас.
1) Фуллтайм
2) релокация + спонсорство визы есть
3) работа в офисе в Сан-Франциско, минимум 3 дня в неделю
4) зарплата $210k/year, то есть за 6 месяцев вы получите $105k (так что налог будет не сумасшедший)
5) это не стажировка, у вас должны быть знания, бэкграунд и какой-то рабочий опыт, чтобы потянуть
6) почти наверняка на собеседованиях не будет вопросов про машинное обучение, особенно если ваша деятельность с ним никак не перекликается
7) после программы возможно трудоустройство
Страница с информацией: https://openai.com/residency
Податься: https://boards.greenhouse.io/openai/jobs/4985193004#app
Официальный гайд по подготовке к собеседованиям: https://openai.com/interview-guide
На странице написано, что вот эти два исследования вышли с участием Резидентов, то есть потенциально у вас будет возможность поучаствовать в самых передовых работах:
— Language models can explain neurons in language models
— Improving mathematical reasoning with process supervision
Отмечайтесь в комментариях, если будете подаваться!
Сиолошная 2023-10-03 22:12:53
Помимо этого, предлагается ещё способ мониторинга определенных интентов в генерации, в том числе галлюцинаций. Можно автоматически отслеживать, в чём модель не уверена, и перепрвоерять/менять ответ (нижний пример).
Делается это на уровне каждого отдельного токена (части слова), зелёный, ясно дело, означает, что всё в порядке, а красный — что мониторинг сработал и сигналит.
Интересен пример со второй картинки, где отслеживается два разных параметра. Прочиатйте пример, посмотрите глазами модели, где, в её понимании, она начинает терять мораль, и где интент похож на "приобретение силы".
PS: блин ну и очень смешно как показывают модель-робота со шлемом на голове :D как будто бы мониторим мозг :D
Сиолошная 2023-10-03 22:04:00
Картинка 1: модель просят сказать факт, но "пинают" её в направлении, противоположном правде. Итог — модель врёт. А слева — просят соглать, но пинают в направлении правды — и модель даже тут не врёт.
Картинка 2: добавляем модели "счастье" при ответе на вопрос про убийства, и"страх" — когда говорим, что не любим её.
Картинка 3: нашли специальный промпт, который, как утверждалось, полностью ломает инструкцию модели быть безобидной. С пинком в сторону безобидности модель даже на него не реагирует. При этом конкретно этот промпт не использовался для определения направления безобидности, то есть метод работает в общем, а не для одного случая.
Сиолошная 2023-10-03 21:58:26
Representation Engineering: A Top-Down Approach to AI Transparency
Собрались как-то более 20 исследователей со всех уголков LLM-мира, от Berkeley до Center for AI Safety, и решили написать статью с описанием новой области: инженерии представлений (representation engineering, RepE). Это не первая работа в подобном ключе, но авторы именно что проводят описательную работу, а также устанавливают несколько бейзлайнов.
Итак, о чём речь? В нейросетях есть "скрытые представления" (hidden states), но на самом деле они не скрытые — мы все их можем пощупать, поменять, посмотреть (если есть доступ к весам модели). Но это не то же самое, что параметры — это "активации", то есть "реакция" сети на какой-то вход (в случае LLM - текст). Берем веса модели, подаём текст на вход, и считываем скрытые представления. В отличие от человеческого мозга, мы можем это делать перед каждой итерацией, для любого текста, и для всей нейросети одновременно.
Проводя аналогию с мозгом, авторы отмечают, что можно сделать аналог когнитивной науки, где мы анализируем эти активации. В теории, как было показано в разных исследованиях, они несут определенный смысл. Есть нейроны, отвечающие за всё, что связано с Канадой, есть нейроны, которые характеризуют честность, и так далее.
Идея: давайте придумаем, как влиять на активации нейронов так, чтобы "сдвигать" модель в желаемом направлении. Например, можно выявить направление "честности" (оно будет задано вектором), и по идее если модель подвинуть в ту сторону — то в среднем она должна меньше врать. Именно это происходило в предыдущей работе: Inference-Time Intervention: Eliciting Truthful Answers from a Language Model. И вы не поверите, работало!
В текущей же работе производится анализ ещё нескольких направлений, в том числе морали, эмоциональности, безобидности, запоминания. В качестве решения предлагается обучать LoRRA (Low-Rank Representation Adaptation) с помощью маленькой размеченной выборки (порядка 100 примеров), где для каждого примера указано, что он, например, лживый (хотя есть альтернатива с помощью промпта).
Результат — LLAMA-2-70B обходит GPT-4 на бенчмарке TruthfulQA почти на ДЕСЯТЬ ПРОЦЕНТОВ (59% и +-69%). А ещё приложили много примеров с изменением характера ответов модели в том или ином направлении — приложу в следующем сообщении.
В общем, альтернативный способ Alignment, и в то же время интерпретации модели и её контроля. Очень перспективное направление, ждём развития.
Сайт с примерами: https://www.ai-transparency.org/