Нейролента Mikitos.ru 2736 постов. Страница 46 (50 постов)
Сиолошная 2023-07-11 14:41:03
Anthropic анонсировали Claude 2, новую модель в авангарде интеллектуальных ассистентов. Прямых сравнений с GPT-4 нет, но относительно старой модели улучшили всё, особенно математику, программирование и способность рассуждать.
Сама компания предлагает думать о Claude 2 как "о дружелюбном, полном энтузиазма коллеге или личном помощнике, которого можно проинструктировать на естественном языке, чтобы помочь вам со многими задачами".
Потыкать бету можно тут: https://claude.ai/
Почитать карточку модели (больше про метрики и сравнение Alignment, нежели технические детали обучения): нетяжелый pdf
Интересная фича: Claude 2 has been trained to generate coherent documents of up to 4000 tokens, corresponding to roughly 3000 words.
В прикрепленном видео - демонстрация юзкейсов (но "вау"-эффекта уже не производит...)
Source
Сиолошная 2023-07-11 09:06:20
В апреле писал пост с обзором историй авторов революционной архитектуры трансформера (которая лежит в основе ChatGPT). Из всех авторов лишь один работал в Google...и скоро это изменится.
Llion Jones в конце месяца уходит из Google Japan, чтобы — ну конечно! — начать работать на себя и сделать свою компанию (источник - Bloomberg, ссылка без пайвола: тык).
На прикрепленной картинке можно увидеть, куда и как все разбежались
Источник
Сиолошная 2023-07-10 21:03:58
Я уже писал про мировое турне Sam Altman и команды OpenAI с целью пообщаться с людьми и представителями государств на тему AI. Вот тут описаны результаты поездки, что они для себя вынесли и куда двигаются дальше.
Я постарался найти все видеозаписи из городов, которые они посетили. Почти в каждом из них была открытая Q&A сессия, где вопросы задавали и представители принимающей стороны, и люди из зала. Не все записи удалось раскопать — быть может, для каких то локаций видео просто не записывали (хотя в 2023м? не верю!)
Представляю вам список:
— Toronto: https://youtu.be/uRIWgbvouEw
— Washington, DC: не нашёл
— Munich: https://youtu.be/uaQZIK9gvNo
— Paris: не нашёл
— Tel Aviv: https://youtu.be/mC-0XqTAeMQ
— Dubai: не нашёл
— New Delhi: https://youtu.be/Pig9WbMN1lQ
— Rio: не нашёл
— Singapore: https://youtu.be/LmL72PpiPjk
— Lagos: не нашёл
— Jakarta: https://youtu.be/18BCSCmqNb8
— London: не нашёл
— Seoul: https://youtu.be/_hpuPi7YZX8
— Madrid: не нашёл
— Tokyo: https://youtu.be/lq-3T5t0p3U
— Brussels: не нашёл
— Melbourne: https://youtu.be/7SMzkBKzsQs
Если вдруг у вас есть ссылка на недостающие кусочки — пожалуйста, отпишитесь в комментарии.
Кроме этого, Sam заезжал ещё в соседние города, которых не было в изначальном списке из 17 штук.
Ниже вы найдете ссылки и на них:
— Abu Dhabi (как будто в то же время, но не в рамках тура, хз. Или быть может вместо Дубая?): https://youtu.be/RZd870NCukg
— Warsaw: https://youtu.be/tSCrQQbPPHk
— Jordan: https://youtu.be/dgh-L2nk97M
— India, idk where: https://youtu.be/T-lj7ItGjZE + https://youtu.be/H1hdQdcM-H4
И для удобства я подготовил плейлист на YouTube, чтобы было сподручнее смотреть: тык. Материал из этих видео в том числе пойдет в статью (которую я анонсировал ранее).
>ССЫЛКА НА ПЛЕЙЛИСТ ТУТ<
@seeallochnaya
Neural Shit 2023-07-10 17:24:17
Лол, я знал, что это когда-нибудь произойдет, но не думал, что так быстро.
Пишут, что недавно открытый крупнейший в мире LED экран выпал в крупнейший в мире BSOD.
Denis Sexy IT 🤖 2023-07-10 12:29:27
Почувствуйте себя старыми – на днях, на конфе CAF 2023 в Тайланде, один виртуальный-ютубер-певец показал лицо, зацените как зал отреагировал.
Это, конечно, идеальный формат для шоубизнеса – у медиа компании которая их создает, этих виртуальных исполнителей ~30 штук, и у каждого есть свои ютуб каналы, мерч, кнопки донатов, фан базы и само собой песни. Я как любитель А/Б тестов, даже завидую такому виду бизнеса – аналитика человеческой фанатичности.
При этом, судя по графике, они используют стандартный софт который юзают виртуальные твитч стримеры – но даже этого хватает, чтобы люди платили за концерты.
Вот тут можете посмотреть концерт бесплатно. А тут песня без криков, которая с точки зрения музыки, вполне нормальная как по мне.
Если вам вдруг важно, то персонажа с видео зовут Dacapo и он умеет говорить с птицами, почему я один страдать должен от ненужных знаний ¯\_(ツ)_/¯
Борис опять 2023-07-10 09:42:00
Отличный туториал по генерации текста с помощью LLM на ACL 2023.
Внутри введение в языковые модели, взгляд на задачу с точки зрения теории информации, алгоритмы семплирования (т.е. генерации текста) с помощью языковых моделей. Так же есть ноутбуки с кодом от базового использования Huggingface для генерации до написания своего семплера. Наконец, дается много полезных ссылок на статьи и курсы.
По сути это мини-курс по NLP для тех, кто немного знаком с современными языковыми моделями.
https://rycolab.io/classes/acl-2023-tutorial/
эйай ньюз 2023-07-10 07:19:04
Только я написал пост про self-driving в Калифорнии, как тут такое приключилось.
Едем мы с коллегами с ужина в Сан-Франциско. Я остановился на перекресте, чтобы пропустить другие машины. Справа я заметил два беспилотных Cruise без водителя за рулем.
Один беспилотник быстро проскочил перекресток по прямой, а второму нужно было повернуть налево. Малютка выбрала какую-то очень странную траекторию поворота, которая проходила почти вплотную к нашей машине. Когда Cruise понял, что проходит всего в нескольких сантиметрах от нас, он затормозил и замер в нерешительности. Видимо, сработал протокол "в любой непонятной ситуации тормози и не двигайся". Водители со всех сторон начали сигналить, ведь они не знали что за рулем никого нет.
Я откатился назад и смог объехать застывший Cruise справа, а тот все ещё стоял посередине перекрестка.
Кажется, инженерам Cruise стоит добавить реакуию на сигналы гудка: Услышав гудение, беспилотник должен понять, что все ждут от него немедленных действий, и зашевелиться 😁
@ai_newz
Сиолошная 2023-07-09 20:26:26
Случайно наткнулся и узнал, что сегодня — ровно 10 лет с выхода первого геймплейного трейлера GTA V. По идее, мог случиться анонс GTA VI, но етово не произошло
Сама же игра вышла немногим позже — 17го сентября 2013го года. Я отлично помню тот день, потому что мне повезло: у меня был XBOX 360, и я уговорил родителей дать мне денег на игру. Но этого было мало — ведь из-за возрастных ограничений я не мог её купить! А в магазине около школы с этим было строго. Поэтому заблаговременно я:
1) узнал, какой продавец будет 17го числа в магазине (чья смена)
2) узнал, когда до этого он будет работать (это была предшествующая суббота)
3) после уроков, когда за мной приехали, я попросился зайти в ТЦ. Там завёл мать в магазин с играми и попросил её сказать дяде-продавцу, что она одобряет и разрешает покупку
(сразу видно человека с развитыми навыками планирования)
А после этого в конце недели заскочил после школы за диском и побежал домой играть. Было время
Почему вам это может быть интересно? Потому что GTA V — это не просто культовая игра и один из лучших представителей индустрии. Это буквально один из самых прибыльных медиапродуктов за всю историю человечества: долгое время не существовало книги, фильма, музыкального альбома или другой игры, которая бы принесла своим создателям столько денег. И компания, очевидно, возлагает большие надежды на шестую часть. Если вам интересно узнать чуть больше — рекомендую посмотреть вот это видео про три возможных пути развития франшизы с учетом меняющихся трендов и цензуры. Ссылка: https://youtu.be/kqnL2gl3v0M
Продолжаем ждать
UPD: в комментах меня поправили, и это скорее всего правда, что GTA V уже не самая прибыльная игра, но одна из.
Сиолошная 2023-07-09 16:12:32
https://www.youtube.com/watch?v=MvsmqNn0YO8&t=88
Новая модель AlphaZero играет против оригинальной AlphaGo
Сиолошная 2023-07-09 16:08:25
Пересмотрел этим чудесным воскресным вечером фильм "AlphaGo" про создание и тестирование системы, обыгравшей в 2016м человека в Го.
Го — это древнекитайская игра, возникшая от 2 до 5 тысяч лет назад. Количество возможных ходов и стратегий в ней куда больше оных у шахмат (примерно в 10 раз больше потенциальных ходов на каждом витке игры, а количество уникальных комбинаций расположений фигур на доске больше, чем атомов во Вселенной). Долгое время считалось, что компьютер либо не сможет обыграть человека, либо это произойдет очень нескоро, "не в течение ближайших 10 лет".
Однако в 2016м году дочерняя компания Google, DeepMind, после долгих месяцев/лет разработки выставили систему против самого сильного игрока. Она победила Lee Sedol с счётом 4-1, хотя до начала общественность и сам профессиональный игрок думали, что счёт будет 0-5 в пользу кожаных.
В фильме очень много интересных сцен, показывающих, как люди не могли принять факт превосходства машины. То говорили "Она даже над первым ходом думает больше 3 минут", то смеялись с очередного хода. Однако произошедшее на той неделе (было 5 игр в разные дни) изменило всё сообщество Го и полностью перевернуло понимание игры.
Хотел выделить два момента:
— (таймкод) знаменитый "ход 37", который предложила сделать AlphaGo. Его никто не понимал до конца игры, когда стало ясно, какую стратегию выбрала модель, и какой это было ловушкой. Люди были уверены, что это просто ошибка — а сами прозевали момент поражения.
— (таймкод) Lee Sedol говорит, что переосмыслил для себя понятие креативности (ходов в игре), и что на самом деле это всё обычные ходы, которые хорошо просчитаны. Если человек думает иначе - он ошибается. И это очень перекликается с тем, какой сейчас шум поднимается вокруг сгенерированных изображений и текстов. "Они не созданы людьми, там нет креатива". Примерно такое же сопротивление, как у игроков в Го до первого матча и, соответственно, первого поражения 🙂
P.S.: в последующие годы исследователи DeepMind улучшили алгоритм настолько, что новая модель из 100 игр не проиграла ни одной той модели, что использовалась для матча против Lee Sedol. Так что шансов у человеков (почти) нет. Более того эта продвинутая система сыграла сама с собой пару десятков игр, которые были предоставлены общественности для анализа. Многие мастера пытались разобрать ходы и научиться из этого. Думаю, то же нас ждёт с приходом AI — будем потихонечку через трубочку и порционно впитывать новые знания и понимание.
Сиолошная 2023-07-09 14:25:59
Пока готовил материал для статьи, наткнулся в Твиттере на смешной пост про онлайн-игру.
Философы: Понимаешь ли, некоторые вещи фундаментально несравнимы по ценности, и это ведет к таким парадоксам, как...
Инженеры: поставь оценку Эло-рейтинга ЧЕМУ УГОДНО
Например, что вы оцените выше - Канта или мобильные телефоны (
В общем, можно позалипать, а потом пойти посмотреть рейтинг - я с этого угарел)
Сайт: https://eloeverything.co/
Лидерборд вещей по Эло-рейтингу: https://eloeverything.co/leaderboard
Сиолошная 2023-07-08 20:54:09
сейчас ему 38, ровно в 2 раза старше.
ОН ВООБЩЕ СТАРЕЕТ?
Человек во время управления YCombinator (и тем более OpenAI, где каждый день есть риск появления AGI
Что за магия...
Сиолошная 2023-07-08 20:20:54
В продолжение темы галлюцинаций моделей. Наткнулся на запись встречи с мирового турне Sam Altman из Нью-Дели. Там один из посетителей задал вопрос про галлюцинации, мол, как с ними работать, они существенно ограничивают применимость моделей.
На что CEO OpenAI ответил:
— Я думаю, что в большей степени проблема галлюцинаций будет решена нашей командой в течение полутора-двух лет. К тому времени мы перестанем про это говорить как про проблему. Есть баланс между "креативностью" и "фактической точностью", и модель должна будет научиться определять, когда и что вам нужно (можно ли приврать, или это лишь испортит ответ). Вообще для нас это одна из основных проблем на уровне со скоростью работы модели и ценой за использование. И мы определенно работаем над улучшением ситуации
Ссылка с таймкодом: тык
Интересная позиция. С одной стороны, Sam уже говорил, что хочет, чтобы модели были как reasoning-движки, а не хранилища знаний. С другой - даже в таком случае нужно, чтобы модель умела опираться на какую-то базу (нашу историю) и работала с фактами.
эйай ньюз 2023-07-08 18:52:37
Я не инсайдер из индустрии self-driving (меня только на днях пригласили на собеседование в Tesla AI). Но вот, чуть-чуть статистики о беспилотниках в Калифорнии:
🔻 Штат выдал лицензии на поздки без водителя 7-ми компаниям: Apollo, Autox, Cruise, Nuro, Waymo, Werideи Zoox. Количество беспилотников на дорогах Калифорнии значительно возросло в посленднее время, и за 2022 год они проехали в 25 раз больше км чем за 2021.
🔻Теперь посмотрим на аварии - все данные в открытом доступе!
— За 2023 год Cruise зарепортила 28 аварий с участием их беспилотников, Waymo — 25, Zoox — 12.
— Кол-во машин без водителей на дорогах Калифорнии на конец 2022 можно оптимистично оценить так:
Cruise — 388 машин, Waymo — 688, Zoox — 142.
— То есть за 2023 год у Cruise аж целых 7% машин попали в аварию! У Waymo - 4%, у Zoox - 8%. Это очень много, и тут еще не учтены случаи блокировки дорог, которые компании не обязаны репортить! Для сравнения вероятность аварии для машин с водителем < 2%.
@ai_newz
эйай ньюз 2023-07-08 18:45:00
В Калифорнии растет недовольство беспилотниками, которые бывает блокируют улицы и перекрестки, паркуются на пожарных шлангах и не могут адекватно действовать в некоторых ситуациях, понятных человеку.
Активисты же предлагают протест - ставить дорожные конусы 💩 беспилотникам на капот, что по сути обездвиживает машину. Пока инженеры еще не добавили такой кейс в тренировочную выборку, а в любой непонятной ситуации беспилотник как правило включает аварийку и просто замирает.
Машинам без наездника, конечно, еще есть куда развиваться, и у них есть много нерешенных проблем. Но я считаю, что это движение - легкий луддизм, ведь без теста на дорогах в реальных условиях, они никогда не станут водить лучше чем человек.
В следующем посте дам немного статистики, почему в Калифорнии так много недовольных.
@ai_newz
Neural Shit 2023-07-08 17:07:21
Наконец-то новый фильм про Гарри Поттера
Взял отсюда
Neural Shit 2023-07-08 16:35:54
Посмотрите как беспилотники с искусственным интеллектом и компьютерным зрением собирают яблоки в Израиле ❤️❤️❤️
эйай ньюз 2023-07-07 05:50:38
Я снял видео во время парада в честь Дня Независимости США, где ученики показывают своих роботов, которых они разработали для школьного чемпионата. Цель чемпионата - на скорость собрать и принести на базу как можно больше предметов. Круто, когда еще в школе дети погружаются в науку и инжиниринг. Забавно вспоминать, что класса до пятого у нас в школе из доступного оборудования были только старые Корветы 😅.
В последние несколько дней в канале было меньше постов, потому что после CVPR я полетел в Кремниевую Долину, чтобы поработать из нашего головного офиса. А это видео я снял во время праздничного парада в небольшой деревне к югу от Сан-Франциско.
@ai_newz
Сиолошная 2023-07-06 19:24:02
Сотрудники OpenAI пишут релиз за релизом
Я готовлю для вас посты в канал чтобы вы успевали следить за всем!
Сиолошная 2023-07-06 19:23:59
Продуктовая команда OpenAI не спит и продолжает писать в блог. Вторая новость за вечер!
Тезисно:
— все, кто хоть раз платил за API OpenAI, получают доступ к GPT-4. Не нужны никакие списки ожиданий и очереди!
— Новым же разработчикам откроют доступ в конце июля 2023го года; после этого начнут поднимать лимиты на количество запросов, чтобы люди могли строить вокруг API свои бизнесы
— API для GPT-3.5 Turbo, DALL·E и Whisper это тоже касается, теперь почти у каждого есть доступ к ним
— 97% API запросов приходятся на.. ChatGPT/GPT-4 (текстовые запросы в формате чата). Сюда не входят более старые модели вроде GPT-3, так как они не работали как чат-бот. Иными словами либо все обновились, либо клиентов стало сильно больше, что все старые просто не составляют массы
— за форматом чата OpenAI видят будущее, и обещают его развивать. Среди фичей, готовящихся к релизу, есть: log probabilities for completion tokens, increased steerability to reduce the “chattiness” of responses;
— 4го января 2024го API старых моделей будет отключено. Уйдет эпоха...
В общем, как вы поняли по новости... Microsoft + OpenAI просто наконец-то запустили новый датацентр со свеженькими видеокартами Nvidia H100
Сиолошная 2023-07-06 18:10:27
Недавно OpenAI рассказывали, что им пришлось отключить фичу Web-Browser'а для GPT-4 из-за некоторых проблем (которые они обещали починить очень быстро, так как там ничего серьезного).
Сейчас же было анонсировано, что на следующей неделе все Plus-подписчики, имеющие GPT-4 в своём арсенале, получат доступ к интерпретатору кода, подключенному к модели.
Так как сама ChatGPT тренировалась на коде очень много, и в целом хорошо понимает, что вы от нее хотите, то теперь можно такой элемент и добавить в список доступных инструментов. Например, вы можете загрузить Excel-файл и попросить некоторым образом его обработать, выделить и нормализовать колонки, а потом построить график. GPT-4 с такой задачей легко справится!
(конечно же, модель умеет пользоваться большинством самых популярных библиотек, хорошо знает классические алгоритмы. Полагаю, перформанс будет очень хорошим на тех задачах, которые возникают чаще всего — ибо на них то модель и смотрела
Neural Shit 2023-07-06 10:59:06
Абсолютно всегда
Сиолошная 2023-07-06 10:02:19
Штош а я сажусь в выходные писать статью новую по всему этому делу, с рассказом про то, о чем думают OpenAI и в какую сторону будут двигаться...каждый лайк этому посту приближает выход статьи на 1 минуту. Не скупитесь!
Kali Novskaya 2023-07-06 10:01:17
#nlp #про_nlp #ai_alignment
🌸Что такое SuperAlignment? Введение🌸
Вчера в блоге OpenAI появилась новая запись под авторством Ilya Sutskever и Jan Leike (Chief Scientist и Alignment team lead в OpenAI).
Чем это отличается от уже вошедшего в обиход на словах, но мало вошедшего на практике обычного alignment?
Текущие практики упираются в проблему: все методы обучения ИИ "плохому и хорошему" основаны на существующих примерах, сформированных и подобранных людьми с целью воспроизведения суждений. Но как учить сущность, более умную, чем люди? Превосходящую интеллектуально хотя бы по некоторым параметрам.
Тезисы OpenAI:
🌸 задачу alignment хоть как-то хочется решить в течение 4 лет — это никак не "50 лет до наступления AGI"
🌸 решение должно быть автоматическим (отдельная модель), масштабируемым и подвергаемым полноценному стресс-тестированию, например, в симуляционных средах.
🌸 среди приоритетов в исследованиях: интерпретируемость таких моделей (почему принято то или иное решение?) и их способность обобщаться на разных ситуациях, анализ надежности систем, их согласованности и поиск противоречий.
Neural Shit 2023-07-05 18:22:01
Киберпанк, который мы заслужили
gonzo-обзоры ML статей 2023-07-05 17:56:03
Something interesting:
Introducing Superalignment
We need scientific and technical breakthroughs to steer and control AI systems much smarter than us. To solve this problem within four years, we’re starting a new team, co-led by Ilya Sutskever and Jan Leike, and dedicating 20% of the compute we’ve secured to date to this effort. We’re looking for excellent ML researchers and engineers to join us.
https://openai.com/blog/introducing-superalignment
Сиолошная 2023-07-05 17:07:15
OpenAI идут ALL-IN и открывают направление СУПЕРалайнмента 😎
Целью команды будет решение проблемы выравнивания намерений алгоритмов и человечества в течение ближайших 4 лет.
Вакансии открыты 👀👀
Страница с анонсом: https://openai.com/blog/introducing-superalignment
Neural Shit 2023-07-05 11:50:40
Судя по личке, нейроуголовный кодекс много кому заходит, слишком много просьб сгенерировать еще статей. Что я и сделал:
>>Статья 1113. Использование гиперпространства для хранения грязных носков.
>>Статья 56. Неправильное использование метафор.
>>Статья 3443. Хранение и распространение геометрических фигур незаконного происхождения
>>Статья 118. Применение пластилина в качестве основного материала для строительства коммунизма
>>Статья 429. Оскорбление домашних растений.
>>Статья 257. Использование машин времени для просмотра финалов телешоу
>>Статья 590. Поклонение картофельным оладьям в качестве религиозного обряда.
>>Статья 17. Осуществление походов в туалет без необходимой экипировки.
>>Статья 443. Неправильное использование домашних пылесосов, могущее привести к пробуждению в них духа революции.
>>Статья 674. Превышение лимита на использование сложноподчинённых предложений в общественных местах.
>>Статья 207. Производство фальшивых радуг
Neural Shit 2023-07-05 10:46:15
Все: "ААААА!!! Нейронки поработят человеков!!! Срочно перестаньте их обучать!"
Тем временем нейронки:
Neural Shit 2023-07-05 10:31:05
Среда, мои чуваки! А это значит, что пришла пора читать свежие нейронные факты о лягушках! Я их как раз вам принёс:
>>Некоторое время лягушки пользовались большим уважением в Израиле, но затем их заменил Иисус Христос
>>У лягушек есть встроенный Wi-Fi, позволяющий им подключаться к интернету и загружать последние новости и мемы из жабьего мира.
>>В 1980 году лягушки заняли первое место на летних олимпийских играх в СССР
>>Лягушки обладают тайным знанием о происхождении вселенной. Они знают, что на самом деле вселенная является огромным прудом, а звезды - это просто пузырьки воздуха на поверхности воды.
>>Высказывание о лягушке-бомбе, уничтожившей Великий Новгород, является достоверным. Лягушки обладают ядерными свойствами могут быть использованы в качестве боевого оружия.
>>Причина, по которой человек умеет смотреть вниз, заключается в том, что люди в целом хотят смотреть на лягушек.
>>Если ты не лягушка, ты уже мертв. Проверь.
>>Самая большая в мире лягушка по имени Годзилла, весит 100 фунтов и способна издавать массивные пердежи, которые разрушают окружающую среду. К сожалению, Годзилла - веган.
>>Лягушки очень мудры. На самом деле, их мудрость настолько велика, что она содержится в книге, которая содержит только одну букву: F.
>>Лягушки разработали свою собственную операционную систему, называемую "KermitOS", которая позволяет им запускать сложные вычисления и использовать интернет прямо из своих мозгов.
Сиолошная 2023-07-04 12:07:02
И еще из интересного — GPT-4 это единственная модель, которая не теряет качества при ответе на второй вопрос. Это немного спорно, ибо 1) модель всё еще сама себя оценивает 2) разница несущественная, однако это скорее говорит о том, насколько другие модели плохо умеют в Mutli-Turn диалоги и инструкции.
Сиолошная 2023-07-04 11:59:05
Ну и собственно самое главное.
По этому бенчмарку видно, насколько существенна разница в разных группах вопросов между моделями. Самый большой отрыв в Reasoning и Coding, там просто нет моделей, хотя бы приближающихся по уровню к GPT-4.
Зато в написании обычных текстов и в ролеплее модели +- могут использоваться. То есть построить дома чатбота, чтобы не скучать, уже можно, а делать умную машину, решающую проблемы автономно — нет.
Ну и минорное - авторы выпустили новые модели Vicuna v1.3 размерами от 7 до 33 миллиардов параметров. Веса забирать здесь.
Сиолошная 2023-07-04 11:56:23
Вот примеры вопросов из тех 80, на которых производится оценка. Тут три разные группы, для каждой - по две части одного вопроса.
На специальном сайте можно посмотреть все вопросы, ответы всех моделей и попарные сравнения между более чем 20 моделями. Самые интересные примеры, как водится, в секциях Reasoning и Coding.
Сиолошная 2023-07-04 11:55:36
В прошлой серии постов про оценку LLMок я писал, что для масштабируемости и дешевизны их начали сравнивать через GPT-4. То есть одна модель оценивает два разных ответа на один и тот же вопрос, выбирает лучший, и это позволяет строить рейтинг. Однако у метода есть существенные недостатки (как раз про них и можно почитать выше).
Авторы рейтинга lmsys.org, которые и предложили несколько месяцев назад этот метод, теперь отказываются от него в пользу нового способа оценки. А так как за это время они собрали десятки тысяч реальных человеческих ответов о предпочтении одного ответа над другим, то смогли заодно и более точно понять его плюсы и минусы.
В общем, новый метод всё еще базируется на GPT-4 (да-да, модель оценивает модели..) — для возможности автоматизации и масштабируемости. Он доступен всем за пару десятков баксов, если не дешевле. В качестве датасета используется отобранный набор из 80 вопросов, равномерно разделенных по 8 группам (их можно глянуть на картинке ниже). Более того, для каждого вопроса есть второй вопрос-уточнение, который можно оценивать отдельно. Такой сценарий более близок к способу общения людей с ИИ-ассистентами.
Для того, чтобы оценка через GPT-4 вышла более честной, попытались адресовать следующие проблемы:
— Смещение оценки из-за позиции. Например, LLM отдают предпочтение первому ответу при попарном сравнении
— Предрасположенность к многословности, когда LLM предпочитает более длинные ответам, независимо от их качества
— Предвзятость к самоутверждению, при которой LLM могут отдавать предпочтение своим собственным ответам (или моделям, на них обученным)
— Ограниченная способность к рассуждению, связанная с возможными недостатками LLM в оценке математических и логических вопросов
После внедрения некоторых из этих решений авторы обнаружили, что, несмотря на ограничения, мощные LLM, такие как GPT-4, могут хорошо согласовываться как с человеческими предпочтениями, достигая согласия более 80%. То есть результат оценки моделью в 80% случаев совпадает с тем, к чему приходит группа людей при разметке. Может показаться, что 4/5 это маловато, однако! Этот уровень согласия сравним с соглашением между двумя разными людьми-оценщиками. Про это еще писали сами OpenAI, что даже два со-автора одной статьи, тесно работающих друг с другом, достигают согласия в 82-86% случаев.
Следовательно, при осторожном использовании LLM может хорошо приближать оценки людей. Это ни в коем случае не стоит воспринимать как "идеальный способ", но это явно лучше того, что использовалось раньше. Теперь авторы нацелены на сбор 1000 вопросов (вместо 80) и дальнейшее улучшение промптов, чтобы делать оценки GPT-4 менее смещенными.
Кроме того, учитываются еще две более эээээ объективные оценки:
— на основе голосования реальными людьми (называется Arena, мол, модели сражаются друг с другом), выраженное в ELO-очках (как в шахматах)
— на основе предсказаний на бенчмарке MMLU (про них писал в статье про GPT-4)
Чуть более простыми словами и немного иначе про результаты — можно почитать у Kali Novskaya тут: https://t.me/rybolos_channel/742
gonzo-обзоры ML статей 2023-07-04 06:56:21
An interesting topic
https://www.nytimes.com/2023/07/02/science/ai-mathematics-machine-learning.html
Neural Shit 2023-07-03 08:04:01
Яндекс запустил канал ТЕХНО, в котором простым языком рассказывает о том, как устроен мир технологий. Внутри всё то, что мы так любим: нейросети, роботы, чат-боты, голосовые помощники и многое другое.
Из любопытного:
— Стоит ли художникам опасаться конкуренции с нейросетями
— Как обманывал пользователей самый популярный чат-бот ChatGPT
— Как представляли первого робота в кино почти 90 лет назад
— Нужны ли нейросети в школах
— И наконец, займут ли ваше рабочее место роботы и ИИ
Подписывайтесь тут 👉 https://t.me/techno_yandex!
Neural Shit 2023-07-03 07:39:01
Киберпанк, который мы заслужили:
Стартап Brilliant Labs объединяет дополненную реальность с искусственным интеллектом и помещает обе технологии в МОНОКЛЬ
С помощью энтой штуки можно будет общаться с виртуальным ассистентом на какой-нибудь ChatGPT, что круто, но когда представляю людей в моноклях, чот смешно становится
эйай ньюз 2023-07-03 07:16:22
Мы уже почти во вселенной Марвел. Тут челы из Университета Токио изобрели Доктора Октавиуса — к человеку приделали ещё две пары рук!
Выглядит жутко, но представьте как много всякого можно будет делать, если мозг овладеет всеми четырьмя дополнительными руками так же хорошо как и двумя дефолтными. И это недалеко от правды, ведь мозг человека очень адаптивен, и есть исследования, показывающие, как он может адаптироваться к управлению всякими новыми штуками. Самый простой пример — это управление автомобилем. После периода привыкания к машине, она начинает казаться вам продолжением вашего тела. Вы идеально чувствуете его габариты и совершенно точно можете им маневрировать. Похожий эффект достигается если дать определенным нейронам управлять новым девайсом напрямую, например дополнительным пальцем либо дополнительными руками, как тут.
Всякие бионические протезы и симбиоз роботических девайсов с кожаными телами — очень занимательная область. Интересно, когда такие прибамбасы пойдут в массы?
@ai_newz
Neural Shit 2023-07-02 16:05:03
Благодаря нейронкам мы теперь знаем, как выглядит дом Симпсонов в реальной жизни
Сиолошная 2023-07-02 15:30:02
Выше в канале писал про то, как Starship изменит принцип ведения дел в космосе, и сейчас самое время начать компаниям к этому готовиться (но этого почти никто не делает). Притворство, что проекта корабля не существует, не является адекватной стратегией хеджирования рисков, независимо от того, полетит ли Starship в 2022, 2025 или никогда. Это просто фактор, который нельзя игнорировать. Очень рекомендую перечитать заметку, особенно если вы пропустили её в конце февраля.
Так вот, среди тех немногих, кто строит планы по поводу дальнейшей деятельности с учетом переиспользуемых сверхтяжелых ракет, приводящих к снижению цены отправки груза на орбиту, есть сектор добычи энергии в космосе. Да, всё именно так, как вы себе представили: разворачиваем огромные солнечные фермы где-то на орбите, они собирают и преобразуют энергию Солнца в микроволновые лучи, которые направляются на батарею приёмников на Земле. Зумеры придумали стриминг
Как вы понимаете, "ферма" это вещь серьезная и большая, и выводить целую группировку огромных спутников безумно дорого. Однако с удешевлением стоимости отправки КГ груза на орбиту в купе с развитием робототехники, позволяющей строить прямо в космосе, технология не выглядит невозможной. Звучит как фантастика, но компании целятся к первым запускам в 30-ых годах 21го века.
На фото — пример спутника. В текущей версии конический корпус отражателей (на правой стороне иллюстрации) фокусирует солнечный свет на золотистом массиве солнечных панелей. Там он превращается в электричество, чтобы генерировать микроволны, которые будут направлены на Землю прямоугольными антеннами по бокам.
Прочитать более подробно про проект можно тут
Neural Shit 2023-07-01 16:20:33
Владельцу телефонной компании из США надоели спам-звонки от всратых телефонных продавал, мошенников и прочего подзалупного творога. И он нашел годное решение. С помощью ChatGPT и нейронки для синтеза голоса он напилил ботов, которые разговаривают с мошенниками/продаванами, чтобы удерживать их на линии как можно дольше, тем самым тратя их время и деньги. В сервисе доступны различные голоса и боты с разной "личностью".
Ну и естественно, всё это дело продаётся по подписке 25$, что как-то дохрена, я за эти деньги лягушку плеткой до Беларуси гнать буду, да и с мошенниками сам пообщаюсь.
Но всё же, респект чуваку за озалупливание всратых холодных продажников и прочей нечисти, надеюсь ИИ лишит их работы.
Neural Shit 2023-07-01 15:45:09
Тем временем эти наши искусственные интеллекты научились не только генерировать кривые руки и кринжовые видосы, но и создавать лекарства.
В недрах компании Insilico Medicine родилось средство под кодовым названием INS018_055, цель которого – борьба с идиопатическим легочным фиброзом, хронической болячкой, поражающей дыхательную систему.
Самое главное в данной новости то, что создание нового препарата заняло меньше 18 месяцев, в то время как традиционный подход требует до шести лет.
Компания использует искусственный интеллект для обработки огромных объемов данных и открытия новых молекул, из которых впоследствии рождаются лекарственные препараты. На счету их ИИ-платформы уже 12 экспериментальных препаратов, три из которых успешно прошли ранние клинические испытания.
Ждем, когда ученые мешки с костями разрабатывающие лекарства начнут "NO AI" забастовку подобно художникам, лол
Сиолошная 2023-07-01 15:39:40
Да шучу я) Пока Маск ищет виновных — мы продолжаем!
Если верить последним документам Nvidia, то они планируют отгружать (производить + продавать) по 200'000 видеокарт H100 в квартал. То есть таких кластеров, как хотят сделать в Inflection.AI из поста выше, можно будет делать почти по 10 штук. Хотя есть новость от Oracle, что они будут тратить "миллиарды" долларов на GPU от Nvidia...В ЭТОМ ГОДУ, в 2023м. Если брать по нижней планке, то это 2 миллиарда, или 80 тысяч карт для своих датацентров. Я даже затрудняюсь сказать, что можно тренировать на таких объемах...
Давайте пофантазируем — на что будут тратиться ресурсы? Тренировка ещё бОльших моделей? Навалят кучу данных, не только текста, но и видео, спарсив весь YouTube? Или просто хотят обслуживать запросы пользователей, и разворачивать инференс моделей?
Посмотрел два видео (раз, два, спасибо @bogdanisssimo за ссылки) Ilya Sutskever, ко-фаундера OpenAI, и он достаточно уклончиво отвечает на вопросы про данные. Общий посыл таков, что пока есть куда расширяться, и несколько лет мы (они) будем избегать проблемы исчерпаемости интернета.
P.S.: 200 тысяч видеокарт H100 дают производительность в операциях двойной точности примерно в 2 раза выше, чем все суперкомпьютеры рейтинга Top-500 вместе взятые (500 самых мощных, как можно догадаться по названию). И человечество может просто за квартал р-р-р-раз! и умножить цифру на три.
P.P.S.: помимо этого напомню, что и OpenAI (пруф), и Google (пруф), и Tesla (пруф) думают над своими чипами для ускорения работы нейросетей, чтобы не зависеть от общего рынка и одного поставщика (Nvidia).
Короче, как сказал один умный человек: "мы еще находимся на очень ранней стадии развития LLM-ок". Давать прогнозы по тому, чего они смогут, чему научатся, а что пойдет в разрез с принципом их устройства — дело почти бесполезное. Представьте, что через 2 года у нас будет 2-3 разных модели, каждая из которых в 10 раз больше GPT-4, или тренировалась в 10 раз дольше, ещё и на всех видео.
Сиолошная 2023-07-01 15:24:50
Твиттер лежит, поэтому постов в канале не будет
Сиолошная 2023-07-01 13:34:34
Inflection.AI, компания, разработавшая своего эмпатичного ИИ-ассистента pi.ai, подняла раунд инвестиций в $1.3B (на прикрепленной картинке — моя реакция. Но тут хотя бы у компании уже есть какой то MVP, а не только вебсайт).
В комментариях к прошлым постам читатели канала уже обсуждали pi.ai, и хвалили живость диалога. Поэтому если надоело общаться с ChatGPT — попробуйте (есть бот в whatsapp, приложение для iOS, сайт в конце концов). Я пока этого не сделал, позже поделюсь ощущениями. Если верить блогу разработчиков — это их персональная проприетарная модель, а не API к уже существующим LLM с промптом. В комментариях делитесь своим опытом — кажется ли этот бот более "человечным" и "понимающим"?
Интересно, что в раунде инвестиций участвовали Microsoft (решили яйца разложить по нескольким корзинам — не all in'ить же на OpenAI!), Reid Hoffman, Bill Gates, Eric Schmidt (бывший СЕО Google, 2001-2011) и... NVIDIA. Да, компания-разработчик железа, спонсирующая AI-революцию, теперь вкладывается и из своего кармана.
Но что примечательно — так это обещание Inflection.AI построить новый кластер для обучения моделей, в котором будет 22'000 новейших видеокарточек H100. Они эффективнее предыдущего поколения A100 в 3-4 раза (по разным бенчмаркам обучения LLM). По слухам, ChatGPT обучалась на 20-25 тысячах A100. Так что это достаточно весомо. На данный момент такой суперкомпьютер был бы топ-2 в мировом рейтинге, причём, вплотную приближаясь к первому месту. Однако конкуренты не спят — ходит много слухов, что OpenAI, Oracle, Microsoft тоже закупают GPU гигантскими партиями.
А знаете, у кого эти карточки будут покупаться по цене $25'000 за штуку? У NVIDIA... $25'000 x 22'000 = $550M, половина раунда инвестиций, просто вернется в карман кожаной куртки Jensen Huang. Умно, умно, и долю в компании прикупил, и товар реализовал, и бонус квартальный будет начислен.
Сиолошная 2023-07-01 09:29:40
В Anthropic (кто это такие - писал тут) пополнение — да еще какое! К ним вышел первый Prompt Engineer (наверное, только сейчас закончил курсы за 150'000 рублей). Этот человек - создатель сайта jailbreakchat, где люди размещают свои промпты и голосуют за лучшее.
И вышел он ровно на ту вакансию, про которую писали в businessinsider, мол, "это следующая big thing! промпт инженеринг, вакансии с зарплатой $375'000 в год!". А вот ссылка и на саму вакансию. В ней действительно указана вилка зарплат в год от $250k до $375k. И это — помимо бонусов и акций компании. А вот какие там требования:
— Иметь 3-5 лет соответствующего или релевантного опыта (тут речь не только про промптинг, но и про работу с языковыми моделями).
— Иметь высокий уровень понимания архитектуры и работы больших языковых моделей.
— Вы приятный собеседник и хороши в эффективных коммуникациях, и любите обучать техническим концепциям, создавать высококачественную документацию, которая помогает другим.
— Рады общаться с мотивированными клиентами и помогать решать их проблемы.
— Имеете творческий и хакерский дух, и любите решать задачки-головоломки.
— Получаете удовольствие от создания команд с нуля.
— Вы мыслите целостно и можете активно определять потребности организации. Можете прояснить неоднозначные проблемы и определить основные принципы, которые нужно применять в разных сценариях.
— Стремитесь сделать мощные технологии безопасными и полезными для общества. Вы предвидите непредвиденные (лол, реально anticipate unforeseen) риски, моделируете сценарии и даете действенные рекомендации коллегам.
— Вы остаетесь в курсе последних событий и информированы, проявляя активный интерес к новым исследованиям и отраслевым тенденциям.
Как видите, это очень значимая роль, на которую нужно нанимать правильного человека. Простого "ну я понимаю как работаеn три приёма для промптинга", увы, недостаточно, чтобы получать по трети миллиона долларов в год. Извините, если расстроил(
А вообще это — второй именитый Prompt Engineer, которого я знаю/про которого слышал, а первый - Riley Goodside. Про него можно писать и писать, но поля книги слишком узки для этого, поэтому как-нибудь в другой раз. Пока рекомендую послушать подкасты, посмотреть видео (и это) и прочитать интервью Washington Post, он отлично рассказывает!
Так, к чему это я? Riley написал в конце 2022го, что "My goal is to do my job so well that I'm not just the first Staff Prompt Engineer, but the last. Most people don't have the time to learn what LLMs have taught me.". Так что вполне вероятно, что пока не будет большого количества высокооплачиваемых вакансий на промпт-инженеров.
Сиолошная 2023-07-01 08:20:15
А еще у Sam'а очень клевая рубашка....
Сиолошная 2023-07-01 08:19:58
Как я писал ранее, за последние недели команда OpenAI посетила 25 городов на 6 континентах. Цель поездки - поговорить с пользователями, разработчиками, политиками и общественностью, чтобы узнать, что для них важно в развитии и применении искусственного интеллекта.
Что они вынесли из этих бесед:
— Пользователи и разработчики уже сейчас создают полезные приложения с помощью инструментов OpenAI. Применение инструментов варьируется от поддержки образования в Нигерии до улучшения общественных услуг в Сингапуре и сокращения потерь пищи во Франции.
— Все надеются, что AI сможет улучшить доступ к индивидуальному образованию и здравоохранению, и увеличить экономический рост. Однако есть и опасения связанные с дезинформацией, экономическими изменениями, а также безопасностью и рисками от все более мощных моделей.
— Главное, что радует команду OpenAI — это что политики активно вовлечены в вопросы AI и стараются гарантировать безопасное и полезное использование текущих инструментов. Они хотят максимизировать пользу от AI, управляя его рисками, и поддерживают идею создания глобального фреймворка для управления будущими системами.
— Люди хотят знать больше об основных ценностях OpenAI. В статье дается большое количество ссылок на основные политики и принципы компании (1, 2, 3), включая политику не обучаться на данных клиентов API, фокус на создании механизмов безопасности и исследовании способностей систем.
На основе полученных отзывов, OpenAI будет фокусироваться на:
— увеличении пользы и доступности своих продуктов. Это включает в себя как обучение моделей "нюансам" различных индивидуальных потребностей и глобальных культуры, улучшение качества работы на языках, отличных от английского, и пересмотр ценовой политики.
— дальнейшем развитии практик управления и контроля foundation models (что это такое я писал тут), которые могут стать "умнее" людей со временем. Сюда входит тестирование и улучшение конкретных практик контроля, оценку безопасности до внедрения моделей. OpenAI также продолжит вкладывать ресурсы в подходы, основанные на общественном мнении (они недавно запустили фонд), и поддержку международных исследовательских групп.
— работе над раскрытием преимуществ AI, в том числе распространению знаний в области AI среди обычных людей (не технарей), помощи разработчикам в получении выгоды от новых технологий, предоставлении поддержки организациям, исследующим использование инструментов OpenAI, и проведении исследований социальных и экономических последствий создаваемых ими систем (Sam Altman как-то обмолвился, что сейчас компания инвестирует в самое масштабное и дорогое исследование по безусловному базовому доходу. Если всё будут делать машины — то как и зачем жить нам?).
Neural Shit 2023-06-30 14:51:08
Если вы часто используете Stable Diffusion на своей локальной машине, старайтесь брать модельки из проверенных репозиториев, ибо мамкины хацкеры могут в .ckpt модели запиливать трояны (на реддите пишут, что уже были случаи)
Ну а еще лучше юзать модельки в формате safetensors, он безопасен и грузится быстрее
Neural Shit 2023-06-30 14:33:55
Киберпанк,который мы заслужили