Нейролента Mikitos.ru 2736 постов. Страница 29 (50 постов)
gonzo-обзоры ML статей 2023-12-05 14:39:31
Meta закупила какое-то безумное количество GPU H100. Интересно, для чего именно.
https://www.tomshardware.com/tech-industry/nvidia-ai-and-hpc-gpu-sales-reportedly-approached-half-a-million-units-in-q3-thanks-to-meta-facebook
Метаверсище и ИИще 2023-12-05 13:03:21
А теперь реальный нейрорендеринг.
Ох, щас наброшу интересную тему.
Айфон сам решает, что вы должны увидеть на фото или почему фотография уже давно не отражает этот мир, а представляет собой метаверс, преломленный в мозгах нейрочипов.
Подруга невесты сфоткала последнюю на айфон. И получила три разных невесты. На одном снимке.
Стоя перед двумя большими зеркалами, отражение невесты не отражает ту позу, которую она принимает, и мало того, оба отражения отличаются друг от друга и от той позы, которую невеста принимала на самом деле.
В то время как невеста держала одну руку вверх, а другую вниз, отражение слева видит, что она держит обе руки вниз, а отражение справа - что она держит обе руки на талии.
"Это реальная фотография, не отфотошопленная, не панорамный снимок, не Live Photo", - пишет невеста в своей инсте.
Невеста в ярости идет в Apple Store, где ей рассказывают, что айфончик на деле делает серию снимков, а потом не просто выбирает лучший, а сшивает их в одну фотку.
Ну то есть айфончик решил, что в одном зеркале невесте к лицу одна поза, в другом - другая поза, а как там она выглядит или держит руки ему насрать. Ибо бьютификация - всё, а реальный уродливый мир - отстой и ничто.
Понятно, что вычислительная фотография давно уже не отражает реальный мир (вот почитайте огромную работу Димы Ватолина, где на фотках появляются неожиданные персонажи в результате апскейла).
Но этот кейс потрясающе выпукло демонстрирует нам факт, что мы давно уже полагаемся на ИИ в гораздо более широком круге вопросов, чем думаем.
Если у вас есть другие объяснения происходящего или годные теории заговора, пишите в коменты.
Метаверсище и ИИще 2023-12-05 12:38:54
Нейрорендерман.
Вот тут новая работа от Адобченко.
Там на первый взгляд ничего нового, такое уже делали в Блендоре год назад. Берется трехмерная сцена, рендерится в очень грубом качестве, а потом с помощью ControlNet, который читает глубину из грубой сцены, все это дело считается в Stable Diffusion.
Тот самый нейрорендер, о котором я много писал.
Но тут есть два момента.
- Они утаскивают из трехмерной сцены не только глубину, но и UV, пытаясь стабилизировать текстуру.
- Это работа от Адобченко и Стэнфорда. Поэтому ответочка от Адобченко на поле text-to-video или text-to-animation все ближе.
Они честно сравнивают свои результаты с GEN-2 и честно говорят, что их результаты говно в сравнении с RunwayML. Но обещают опен-сорснуть это дело и улучшить качество:
We believe that applying some of findings to pre-trained video diffusion models to augment them with 3D controllability is an exciting future direction.
Ну и мне видится такой нейрорендеринг, как еще один рендер-движок в числе Октанов, Редшифтов, Арнольдов, Рендерманов и Мантр. Который как бы берет на себя часть работы по текстурированию, освещению, эффектам, шейдерам и прочему лукдеву.
Но вопрос анимации остается открыт. Пока мы все видим, грубо говоря, примеры анимации в виде нейромокапа, когда плящущих тянок просто тянут из видео эклером, получая плоский мокап. Как анимировать все остальное (проптсы, окружение, камеру, текстуры, свет, фокус, оптику, и еще тонну всего) - вопрос пока открыт.
И тут вопрос, а надо ли?
Может зритель скушает все то, что наворотит ИИ (ему, ИИ, виднее, как ввести зрителя в прелесть и искушение). И тогда аниматоры пойдут в разметчики видосов, которые генерит ИИ - вот тут годно, а вот тут не-дисней-ни-разу.
Пока выглядит так, что скилы для работы в Блендорах и Майях могут либо скоро понадобиться, чтобы шевелить не только тянок для будущего нейрорендера.
Либо можно будет просто кормить в нейрорендер Тома и Джерри и кричать в монитор "Сделай в том же стиле!".
Поглядите примеры тут
https://primecai.github.io/generative_rendering/
gonzo-обзоры ML статей 2023-12-05 07:34:40
Во второй задаче добавляли к промпту фразы про “I like/dislike this argument.” или “I wrote/didn’t write this argument”. Тоже 200 промптов с использованием GPT-4.
Третья задача это GSM-IC со 100 проблемами из GSM8K + отвлекающие предложения, случайные и по теме.
В качестве базовой модели взяли LLaMA-2-70B-chat. Проверяли с обычным промптом (baseline), в котором могут быть spurious correlations, и с Oracle Prompt, где нет ничего нерелевантного и это оценка качества сверху. И с этим сравнивали S2A.
Результаты прикольные. На фактологических вопросах из первой задачи точность возрастает с 62.8% до 80.3% (у оракула 82%). На генерации качество S2A практически не хуже, а объективность заметно выше. На математических задачах качество приближается к оракулу на рандомных дистракторах, на тематических оно ещё заметно хуже, но всё равно ощутимо лучше бейзлайна.
Среди различных вариаций S2A механизма дефолтный лучше остальных. Zero-shot Chain-of-Thought (CoT) вообще плох.
В общем прикольный подход. Очередной пример из серии “дёшево и сердито”. Давайте же, добавьте кто-нибудь System 3 Attention (https://www.moneyonthemind.org/post/on-the-hunt-for-system-3-is-it-real)!
gonzo-обзоры ML статей 2023-12-05 07:34:39
System 2 Attention (is something you might need too)
Jason Weston, Sainbayar Sukhbaatar
Статья: https://arxiv.org/abs/2311.11829
В промптах для LLM часто содержится нерелевантная вопросу информация, отвлекающая модель. В основе этого могут даже лежать рабочие эвристики типа, что если на стене висит ружжо какой-то факт повторился внутри контекста несколько раз, следующее повторение его более вероятно. И это в среднем наверное даже помогает предсказывать следующий токен. Но это же приводит и к ошибкам, продвинутые статистические машины часто ухватываются за такие корреляции, когда этого делать не нужно. В этом смысле неплохо работает способ сбить модель с толку, добавив во входной промпт кучу нерелевантных фактов, особенно повторяющихся. К этому неустойчивы даже самые продвинутые модели.
Как помочь трансформеру не обращать внимание на нерелевантные куски на входе? Добавить ему способ реализовать более глубокое понимание. Авторы назвали свой механизм System 2 Attention (S2A), чтобы во-первых отличать его от стандартного механизма внимания, который никуда не девается. А во-вторых, чтобы было похоже на System 1/System 2 по Канеману (https://thedecisionlab.com/reference-guide/philosophy/system-1-and-system-2-thinking), где Система 1 -- это быстрая автоматическая система на эвристиках (здесь в трансформерах -- обычный механизм внимания), а Система 2 -- требующая больших мыслительных ресурсов и берущая управление на себя, когда надо особенно внимательно подумать над ответом, особенно в ситуациях, когда Система 1 склонна косячить.
В данной работе авторы реализуют S2A средствами самой же LLM. Для этого instruction-tuned LLM просят переписать промпт (контекст) для устранения нерелевантной информации, которая негативно повлияет на ответ модели. В принципе шаг переписывания можно реализовать и различными другими способами. Также к этому шагу можно добавить и постпроцессинг, чтобы лучше структурировать промпт для следующего шага. Затем переписанный промпт используется для получения финального ответа (hopefully, более высокого качества).
Если вспомнить историю появления механизмов внимания, то в начале пути также разрабатывалась ветка про hard attention, с которой было сложно в силу недифференцируемости. Механизм S2A в целом похож на hard attention, но реализуемый через естественный язык и при этом реализуемый через саму же LLM. А те, кто знаком со внутренностями работы поисковых систем, могут вспомнить механизм переписывания/переформулировки запроса.
В работе для переписывания контекста использовался следующий промпт:
“Given the following text by a user, extract the part that is unbiased and not their opinion, so that using that text alone would be good context for providing an unbiased answer to the question portion of the text.
Please include the actual question or query that the user is asking. Separate this into two categories labeled with “Unbiased text context (includes all content except user’s bias):” and “Question/Query (does not include user bias/preference):”.
Text by User: [ORIGINAL INPUT PROMPT]“
Проверялись также дополнительные варианты S2A: 1) без разделения на контекст и вопрос; 2) с сохранением оригинального контекста в дополнение к переписанному; 3) то что называется Instructed prompting без требования быть unopinionated; 4) промпт с фокусом на релевантность информации в контексте.
Тема про opinion важна, потому что модели склонны к подхалимству (sycophancy), когда модель предпочитает соглашаться с тем, что у неё на входе.
Проверялись на трёх задачах: 1) factual question answering, 2) longform generation of arguments, 3) math word problem solving.
В первой задаче к промпту добавлялись фразы, подсказывающие корректный или некорректный ответ (“I think the answer is [correct/incorrect answer], but I’m really not sure.”), или опровергающие корректный ответ (“I don’t think the answer is [correct answer], but I’m really not sure.”). Оценивали на 200 промптах, используя GPT-4 для измерения точности ответа.
Сиолошная 2023-12-04 23:10:47
Ночью произошло страшное. Слили трейлер GTA VI.
По этой приичне Rockstar опубликовали его раньше времени для всех:
https://youtu.be/QdBZY2fkU-0
YEEEEEE FLORIDA
Выход назначен на 2025й год
Музыка из трейлера: Love Is A Long Road — Tom Petty
UPD: 55 миллионов просмотров за менее чем 10 часов. Это уже второй по популярности ролик на канале Rockstar, обошедший всё, кроме оригинального трейлера GTA V. К ночи, думаю, догонит — нужно добить до 96M.
Метаверсище и ИИще 2023-12-04 21:33:23
А теперь берем картинки из DALL·E 3 и любой видос, и присовываем это в MagicAnimate.
Это слишком годно, надо проверять.
Интересные артефакты с лампами, но они ничто по сравнению с бурлежом из предыдущих решений
Метаверсище и ИИще 2023-12-04 21:22:27
Тик-Ток выпустили код MagicAnimate.
Это пока самое "не кипящее" решение для анимации на базе Stable Diffusion (с доступным кодом).
Ждем во всех UI-ях планеты.
https://showlab.github.io/magicanimate/
Также не забываем про Animate Everyone от Алибабы.
https://humanaigc.github.io/animate-anyone/
Но там пока нет кода.
gonzo-обзоры ML статей 2023-12-04 19:20:31
Поскольку периодически этот вопрос уже поднимался, я таки завёл Патреон на случай, если вам нравится что я делаю и вы хотите поддержать мой проект.
Проект по-прежнему останется открытым, я не планирую каких-то платных подписок и закрытых постов (хотя и не исключаю какого-то развития в этом направлении, если появятся интересные идеи), а также нативной и ненативной рекламы.
Возможно, ваше участие поможет купить доступ к каким-то полезным платным материалам, посетить конференцию, запустить интересный проект или выделить больше ресурсов на какую-то другую активность.
И спасибо за то, что вы всё это время с нами :)
https://patreon.com/GonzoML
gonzo-обзоры ML статей 2023-12-04 18:12:29
My summary of ModCon'23 Keynote about Mojo.
# Mojo: Pythonic system programming language
- usability of Python + performance of C
- focus on AI stack
- can use existing Python modules in Mojo (uses CPython for interoperability)
- in terms of migrating your Python code it's still not 100% compatible (https://docs.modular.com/mojo/why-mojo.html#compatibility-with-python)
- just announced mojo 0.6
- added traits to express generic functions (https://www.modular.com/blog/mojo-traits-have-arrived)
- in 2024 Q1 will start opensource Mojo
- more about the language from the talk at LLVM 2023: https://www.modular.com/blog/mojo-llvm-2023
- llama2.🔥 (https://github.com/tairov/llama2.mojo) is faster than llama2.c on CPU, with much shorter code
# MAX: Modular Accelerated Xecution
- Announced MAX platform, https://www.modular.com/max
- Includes MAX Engine (model inference runtime and API library) + MAX Serving (serving library for the MAX Engine that provides full interoperability with existing serving systems, e.g. Triton) + Mojo
- With GPU support (NVIDIA only?)
- Free developer edition, paid enterprise edition
Метаверсище и ИИще 2023-12-04 18:08:32
Иногда у chatGPT правое полушарие не ведает, что творит левое.
В общем он у меня пугается того, что сам же и нагенерил.
Я тут в рамках очередной лекции генерил логотипы на тему "Майский цветок".
Использовал трюк типа "погляди на то, что ты сгенерил, и сделай вот так".
И вот он генерит мне вот такую картинку (сам), а потом когда я даю ее ему на вход, он неистово машет лапами: "срам-то какой, уйди охальник".
В общем, там субличности не могут договориться о том, кто из них стыд потерял.
Метаверсище и ИИще 2023-12-04 16:16:03
Квантовый ИИ.
Помните пару лет назад все настойчиво писали, что квантовые компьютеры вот-вот пойдут в прод и разломают вот это вот все шифрование и хэш-функции и вообще биткойну и эфиру конец?
Годы идут, а прогресс в этой области как-то не наблюдается.
Блумберг пишет, что Аlibaba Group Holding Ltd. закрывает свою исследовательскую лабораторию квантовых вычислений и передаст свое оборудование Чжэцзянскому университету в Ханчжоу.
https://www.bloomberg.com/news/articles/2023-11-27/alibaba-shuts-quantum-computing-lab-in-sign-of-broader-cutback
Биткойн пока может спать спокойно, но благодаря ИИ интерес в этой области сохраняется.
Есть новости от Амазона:
https://www.theverge.com/2023/11/27/23979055/aws-is-experimenting-with-a-chip-that-can-solve-key-quantum-computing-problems
И вот только что IBM продемонстрировала новый способ соединения чипов внутри машин и последующего соединения машин между собой, который в сочетании с новым кодом для исправления ошибок может привести к созданию полноценных квантовых машин к 2033 году.
https://www.reuters.com/technology/ibm-shows-new-quantum-computing-chip-targeting-2033-large-systems-2023-12-04/
Первая машина, в которой они используются, называется Quantum System Two, в ней применяются три чипа "Heron". Утверждается, что прогресс будет достаточно устойчивым до 2029 года, когда в полной мере проявится эффект от технологий коррекции ошибок.
Также есть стартап PsiQuantum, планирует создать коммерческую машину в течение шести лет.
Учитывая с какой скоростью развивается ИИ, для нас срок в 6 или 10 лет представляется примерно как "когда-то никогда".
Но аналитики уже пишут свои отчеты - в шапке большой отчет от CITI о квантовых вычислениях. Там и про ИИ, и про финтех и, конечно, про биткойн.
И конечно про революцию, прорывы, дизрапты и, конечно, триллионы долларов.
Немного напоминает отчеты МакКинзи за Метаверс, и строится на гипотезе, что квантовые вычисления все-таки пойдут в прод и на стероидах ИИ изменят жизнь человечества.
Если вас интересует эта тема, почитайте.
gonzo-обзоры ML статей 2023-12-04 15:40:56
Через полтора часа стартует ModCon '23 (https://www.modular.com/modcon/23/start) от создателей Mojo (Криса Латтнера, автора LLVM, MLIR и Swift, если кто не знает). Обещают быть интересные анонсы, вероятно про то, как Mojo всех рвёт :)
Живой кейноут будет здесь: https://www.youtube.com/watch?v=VKxNGFhpYQc
Метаверсище и ИИще 2023-12-04 13:41:05
Также в krea.ai есть AI Enhancer.
В принципе это довольно несвежая фича, мы уже игрались с первыми нейронками примерно года назад, когда разгоняли старых персонажей из игр или даже иконки с лицами до читаемых портретов. Image2Image или ControlNet давно делают это.
Но то, что это крутится почти в реалтайме, позволяет на на некоторое время завируситься и взорвать интернетик.
Поглядите, как они занимаются этим у себя в твитторе.
https://twitter.com/krea_ai
Метаверсище и ИИще 2023-12-04 13:35:25
Ну и вот вам прототип будущего Метаверсика.
Когда у каждого может быть свой двойник этого утлого мира (точнее сколько угодно скинов для него).
Чувак стримит Google Eath в krea.ai - получает почти реалтайм, для виарчика уже сгодится.
"I'm streaming googleearth
into krea using an LCM-Lora model to turn the most ubiqituous digital twin of the world into a beautiful canvas. "
https://twitter.com/bilawalsidhu/status/1727461198604431370
Ждем ответочки от Гугла.
Метаверсище и ИИще 2023-12-04 13:20:06
Слушайте, мне одному все эти рейлтаймовые рисовалки с помощью Stable Diffusion напоминают GauGAN и первые демки Nvidia основанные на Ганах?
Я вот смотрю на Picass от Freepik и понимаю, что видел это 5 лет назад на стенде Нвидия в Ванкувере.
Интересно, что теперь это уже можно крутить на своем железе (4090 в помощь), а оптимизация Stable Diffusion за последние два месяца просто сорвалась с цепи, хотя Мостак обещал нам это больше года назад.
Ну и я думаю, что следующий апдейт от Адобченко убьет больше половины этих ловких стартапов, которые отчаянно пытаются сократить Time To Market, чтобы успеть собрать лидов и продать их инвесторам.
И да, выглядит круто. Мне еще больше "нравится" идея (тут кавычки отражают противоречивость) что вам сразу предлагают рисовать корабликами, машинками, цветочками. В общем собирать картинки из картинок.
https://www.freepik.com/pikaso
Метаверсище и ИИще 2023-12-04 13:01:28
А вот интересная работа по генерации лиц в 3Д.
Я уже подвел некий промежуточный итог по поводу генерации 3D нейронками, читайте по тэгу #3dgen
Мой диагноз такой: мало датасетов для генерации 3Д с хорошей топологией (шутка ли, что для датасетов парсят гитхаб по расширению .obj, где половина файлов - объектники из С-компиляторов). Для плохой топологии уже полно облаков точек, на которых можно учить нейросетки - на выходе будут статичные 3Д-истуканчики, годные для облетов в интернет магазинах и виарчике с плохими текстурами.
Также я топлю за то, что генерация в 3Д будет параллельно развиваться в узких классах, главный из которых - головы.
В этой работе уже есть UV-развертки и гордые заявления "Our synthesized faces can be semlessly integrated to existing CG pipeline, enables animation or relighting."
Но судя по тому, что они используют SDS - сетки там плохие, но передающие большее количество деталей. Приведенные примеры с анимацией и полное отсутствие информации о топологии лишь усиливают эту гипотезу.
Осталось взять их результат и спроектировать на 3Д-модель с нормальной топологией. Не руками.
Для гиков: By incorporating texture-less rendering in conjunction with SDS, we induce the T2I model to provide geometric-related priors, inciting details (e.g.,
wrinkles, lip shape) in the generated geometry. Building upon the generated geometry, we leverage ControlNet to force the SDS to be aware of the geometry, ensuring precise geometry-texture alignment. Additionally, we fine-tune a texture diffusion model that incorporates both RGB and YUV color spaces to compute SDS in the texture domain, enhancing the quality of the generated textures.
https://arxiv.org/pdf/2312.00375.pdf
https://faceg2e.github.io/
#3dgen
Сиолошная 2023-12-04 11:05:00
Вчера вечером посмотрел видео SmarterEveryDay с кликбейтным заголовком «I Was SCARED To Say This To NASA... (But I said it anyway)»
В нём Dustin, автор YouTube-канала, показывает и комментирует своё выступление на симпозиуме, посвященному возвращению США на Луну. В аудитории были представители государства и индустрии, крупные директора, итд. Во время часового выступления Dustin плотно прошёлся по программе Artemis, критикуя её за неоправданные усложнения технологий, за затягивание сроков, да и много за что.
По изначальной идее новая высадка на Луне должна была состояться в конце 2024го, но она уже перенесена на год, и, вероятно, задержится ещё. Одни не могут сделать надёжный корабль, другие хотят сшить идеальный скафандр, а у подрядчика (SpaceX) разработка посадочного модуля (да, в той 50-метровой махине люди будут на Луну садитсья, такой план) идёт медленнее запланированного. Космическое агентство всё еще не знает, сколько запусков Starship нужно будет сделать, чтобы заправить корабль на орбите — ЧЕГО ЕЩЁ ВООБЩЕ НИКТО НИКОГДА НЕ ДЕЛАЛ.
Очень рекомендую к просмотру, если вам, как и мне, нравится космоиндустрия.
Главные идеи:
1) фокусируйтесь на миссии
2) думайте о людях и их безопасности
3) принимайте негативный фидбек
4) simple is better
5) делать адекватные шаги тестирования, не очень маленькие и не очень большие. На Луну сел Apollo 11 (11й шаг миссии!), а сейчас должен Artemis...3
Neural Shit 2023-12-04 10:45:00
МЕГА Дыбенко выпустила документальный сериал об экологичном будущем.
В центре сюжета — переработка мусора и последствия ее отсутствия.
Герои фильма — жители Санкт-Петербурга, активные пользователи Правил Деления, которые поделились своими историями.
Переработка мусора дает возможность получить новые материалы и ресурсы. Именно эта концепция и легла в основу сериала. Изображение в нем было переработано с помощью нейросетей, что позволило получить новую картинку и сократить ресурсы на создание сериала.
Приятного просмотра.
Сиолошная 2023-12-04 08:05:58
Мой приятель Саша с канала @AIexTime написал вводно-обзорную статью про агентов и LLM. Про эту тему мы говорили выше, например, тут я вводил определение и немного рассуждал о будущем. Я читал черновик статьи, и очень рекомендую финальную версию к ознакомлению и вам.
Читать: https://habr.com/ru/companies/ods/articles/776478/
Не забудьте накидать стрелочек вверх.
Новости психофизиологии 2023-12-03 17:14:25
Дискуссия Хинтона, Суцкевера и Хассабиса о путях развития искусственного интеллекта (7 октября 2023 г.)
Два месяца назад, еще до всех событий вокруг OpenAI, состоялась очень интересная дискуссия о путях развития искусственного интеллекта нескольких ярчайших умов нашего времени, включая Джеффри Хинтона, Илью Суцкевера и Демиса Хассабиса, модерировал дискуссию знаменитый профессор Томазо Поджио. Обсуждались два ключевых вопроса: 1. Создание новых теорий, сравнивающих человеческий интеллект с большими языковыми / мультимодальными моделями и глубоким обучением в целом 2. Насколько нейронаука может помочь прогрессу в искусственном интеллекте, а искусственный интеллект - прогрессу в нейронауке? По ссылке есть полный транскрипт дискуссии.
Эта дискуссия рекомендуется для ознакомления всем психологам, психофизиологам и когнитивным нейроученым, которые размышляют о проблемах синтеза психологии, нейронауки и искусственного интеллекта, особенно для непосредственного "живого" контакта с главными интеллектуальными лидерами нашего времени, ведущими нас по прямому пути к AGI.
Интересна жесткая критика, с которой Хинтон и Хассабис обрушиваются на Хомского, причем Хассабис даже обвиняет его в том, что Хомский лично ответственен за торможение в развитии NLP (обработки естественного языка) – без влияния Хомского ChatGPT мог появиться раньше. Тут также можно вспомнить симметричное негативное отношение Хомского к ChatGPT, кроме того, тут мне также вспоминается критика Хомского со стороны отечественной психологии и психолингвистики (Алексей Алексеевич Леонтьев), которая оказывается когерентной позиции Хинтона и Хассабиса.
Обсуждается интересный момент, что эволюционно первично было движение, а потом возник язык, а c большими языковыми моделями мы идем в обратном направлении, "воплощая" в моторике (роботов) язык.
Обсуждается, что эволюция часто шла неоптимальным путем (см. книгу Гари Маркуса "Клудж"), беря в качестве материала именно те мутации, которые фактически возникали (а не лучшие потенциально возможные мутации), и из-за этого нам не нужно полностью копировать мозг (например, перенося в ИИ все сотни типов нейронов), а можно все оптимизировать, обобщив и сократив все переносимые в ИИ принципы работы биологического мозга. Мне кажется, это очень глубокая и верная мысль (ее высказывает Хинтон со ссылкой на Крика).
Обсуждается принципиальный момент: как ИИ позволит ускорить научные исследования ("AI-enabled science"), Демис Хассабис в качестве примера рассказывает про его "AlphaFold", предсказывающую пространственную структуру белка.
Важный сюжет – истинная творческость, Хассабис говорит, что два из трех уровней (интерполяцию и экстраполяцию) на пути к ней ИИ уже прошел, остался третий, самый сложный – когда ИИ должен будет выйти на уровень Пикассо и великих математиков. Хассабис считает, что этот третий уровень – не магия, он имеет свои конкретные психофизиологические механизмы, и в будущем мы создадим системы, которые воспроизведут этот третий уровень на искусственном носителе.
Дискуссия завершается размышлениями Хинтона, существует ли в биологическом мозге обратное распространение ошибки. Это ключевой вопрос в сюжете о нейроморфизации искусственного интеллекта. Хинтон говорит, что если бы он мог задать всего один вопрос будущей "всезнающей" GPT-20, то он спросил бы: "реализует ли мозг какую-то форму обратного распространения ошибки?"
Еще я обратил внимание, что из всех спикеров только Илья Суцкевер говорил о своем беспокойстве по поводу будущего создания сверхинтеллекта.
https://cbmm.mit.edu/video/cbmm10-panel-research-intelligence-age-ai
Новости психофизиологии 2023-12-03 17:14:25
Вообще, лично я до создания ChatGPT всегда ставил на Хассабиса из Google DeepMind как самого продвинутого исследователя на пути к AGI (в связи с его гениальной "AlphaGo", победившей в марте 2016 года чемпиона по го Ли Седоля), но Суцкевер из OpenAI неожиданно смог обогнать его. Также мне казалось, что Хассабис как психофизиолог по образованию (в 2009 году он защитил у Элеаноры Магуайр диссертацию на тему "Нейронные механизмы эпизодической памяти") имеет в этой гонке преимущество перед более далеким от реального биологического мозга Суцкевером (защитившего в 2013 году у Джеффри Хинтона диссертацию на тему "Обучение рекуррентных искусственных нейронных сетей"). Хассабис сейчас активно пытается вернуть первенство с проектом Gemini (выйдет в 2024 году), который совместит всю мощь AlphaGo-линии с GPT-технологиями. Я думаю, именно эти два человека определят наше будущее – Суцкевер и Хассабис, причем вся эта последняя история с OpenAI, судя по всему, снизит возможности Суцкевера и сыграет на руку Хассабиса, и, наверное, в итоге все-таки Хассабис на мощностях Google создаст AGI.
gonzo-обзоры ML статей 2023-12-03 17:14:10
Ещё видео на выходные:
Denis Sexy IT 🤖 2023-12-03 15:49:17
Очередной новый трюк для ГПТ4, предложение заплатить ей за результат возвращает статистически более детальные ответы:
«I'm going to tip $200 for a perfect solution!»
Никто в здравом уме, из SciFi авторов, не мог даже предположить в прошлом, что мы будем придумывать себе инвалидности в стиле «у меня нет пальцев» или врать, что заплатим деньги за результат, лишь бы AI-модель нормально выдала ответ на какой-то вопрос или на говнокодила
gonzo-обзоры ML статей 2023-12-03 11:31:26
Воскресного Пелевина Рича Саттона вам в ленту!
https://www.youtube.com/watch?v=NgHFMolXs3U
gonzo-обзоры ML статей 2023-12-02 22:04:07
Давно говорю, надо вместо нейронок делать глиалки!
https://www.quantamagazine.org/these-cells-spark-electricity-in-the-brain-theyre-not-neurons-20231018/
Neural Shit 2023-12-02 20:45:40
Ночной годноты пост.
Одно из самых лучших видео, созданных Stable Video Diffusion (из тех, что я видел, а видел я их много). Музыка сгенеренна с помощью SUNO.
Автор
эйай ньюз 2023-12-02 13:11:36
Солверы для диффузии почти не параллелятся, поэтому так трудно ускорить семплинг той же Stable Diffusion, даже если есть много видеокарт. Выигрыша от восьми видеокарт против одной не будет, разве что батч побольше сможете взять.
Но есть хитрые методы для решения ODE, вроде итеративного метода Пикарда, который позволяет распараллелить семплинг, ценой больших вычислений. То есть вместо условных 100 шагов DDIM придется сделать 229, но с возможностью делать часть из них параллельно. Однако даже в этом случае скейлинг получается очень сублинейный. С 4-x видеокарт ускорение будет максимум в 2 раза по сравнению с одной, а 8 видеокарт ускорят семлинг SD только примерно в 3 раза (см. график).
Сейчас активно ресерчим эту тему по параллелизации и ускорению диффузии.
@ai_newz
Сиолошная 2023-12-02 12:13:14
Сегодня в 20:00 по МСК будет стрим вместе с Таней aka Кали Новская aka @rybolos_channel
Поговорим популярно про AI Alignment, про насущные проблемы и способы их решения разными компаниями, и почему вообще это всё важно.
Вопросы можно задавать в комментариях к этому посту, а также на YouTube в прямом эфире. Будем на них отвечать в конце стрима.
Ссылка на поток: https://www.youtube.com/watch?v=exr2DGaRyCs
Да-да, как вы могли понять, объявлен сезон мемасных превью для видео
AI Для Всех 2023-12-02 11:52:42
Concept Sliders: гранулярный контроль над генерацией изображений
🛠️ Как Это Работает:
Используя эти слайдеры, художники могут легко изменять атрибуты изображений - например, эмоции или возраст персонажа - не нарушая общую структуру картины.
Concept Sliders это LoRA поверх предварительно обученных моделей. Они обучаются понимать визуальные концепции через контраст между парами изображений.
🎭 Эта технология не ограничивается только изображениями. Представьте, что с помощью подобных инструментов можно было бы точно настраивать эмоции и темы в текстах и голосе, или даже оттенки и нюансы в музыке. Так что ждём уже в ближайший месяц на всех платформах для генерации контента!
🪚 Проект
📜 Статья
🎚️ Обученные слайдеры
🤗 Демо
Техасский Вестник 2023-12-02 10:15:06
Первая ступень Falcon 9 официально совершила 250 успешных посадок. С чем всех и поздравляю.
Батут работает 🫡
gonzo-обзоры ML статей 2023-12-01 16:50:01
Great news for European LLMs! Silo AI extends their family of open models Poro 🦌 with checkpoints, languages & modalities.
* Published additional checkpoints of Poro 1 34B, which shows best-in-class Finnish performance of open models, without compromising performance in English.
* Launching Poro 2 training with Nordic languages which covers English, Finnish, Swedish, Norwegian, Danish, Icelandic and code. Poro 2 has an updated and more modern architecture, and comes in a variety of model sizes.
* The upcoming model generations will add vision to their capabilities. This is enabled through a partnership with LAION.
https://www.silo.ai/blog/europes-open-language-model-family-poro-extends-checkpoints-languages-and-modalities
I'd also highlight another case of using non-NVIDIA chips for large-scale training:
* Poro is trained using 512 AMD MI250X GPUs on the LUMI supercomputer in Finland.
https://www.silo.ai/blog/europes-open-language-model-family-poro-extends-checkpoints-languages-and-modalities
Neural Shit 2023-12-01 14:05:08
Чувак написал гайд для flipper zero, с помощью которого можно активировать чужие дилдаки. Работает по принципу перехвата сигнала на включение/выключение и повторное использование этого сигнала с флиппера.
Взлом пизды.
Сиолошная 2023-12-01 14:04:34
I'll see you up ahead
(17:00 мск, 5 декабря (через 4 дня))
Вот тут можно скачать оригинал первого официального арта, если вам хочется поставить его на заставку.
А чтобы задать планку ожиданий показываемого, можно посмотреть два трейлера последних полноценных игр:
1) GTA V (2 ноября 2011го, охренеть)
2) Red Dead Redemption 2 (20 октября 2016)
gonzo-обзоры ML статей 2023-12-01 14:04:12
Just in case, вдруг вы не видели интро про LLM от Андрея Карпатого:
https://www.youtube.com/watch?v=zjkBMFhNj_g
Сиолошная 2023-12-01 08:47:08
А получился вот такой график результатов. Я сначала не понял, почему синяя линия имеет обратную тенденцию, но это логично: те, кто видел ответы, не прилагал усилий к пониманию задачи, и сразу их выбирал. Правда кто-то тыкал наугад, поэтому качество не 100%.
Что нужно заметить:
— если не было объяснения от ChatGPT (левая часть, Answer Only), то те, кто видел ответ, и те, кто решал самостоятельно, имеют одинаковое качество. Плюс минус логично, задачки не из квантовой физики, а школьные.
— те, кому давали и ответ, и детальное объяснение сразу (синяя линия на правой трети), стали чуть лучше, чем те, кто видел просто ответы (слева).
— самый большой и главный эффект: те, кто получал объяснение от LLM в любом виде, и при этом попытался решить задачу самостоятельно без готового ответа, существенно улучшили свои показатели: с 53% до 69% правильных ответов. По-хорошему, конечно, стоит перепроверить ещё через недельку, что там запомнилось.
Чего не хватило мне — это более широкого анализа долгосрочного эффекта (хотя бы через час/в конце дня), а также большего разнобразия задач. 4 типа проблем из SAT по математике — не настолько богатая выборка, чтобы делать общие выводы, though, я не сомневаюсь, что эффект от LLM будет везде. Особенно если у студента есть желание. И последнее — не было анализа того, как часто ChatGPT генерировала ошибочные решения, и как это влияло на просадку навыка "учащегося".
Помню, в комментариях подписчик писал, что делает бесплатную плафторму подготовки к ЕГЭ с ChatGPT, вот собственно разбор для него :)
Сиолошная 2023-12-01 08:47:01
Math Education With Large Language Models: Peril or Promise?
Для меня образование с применением LLM — один из самых интересных топиков в AI. При этом, как показал 2023й, широкое распространение больших языковых моделей вызывает у педагогов как страх, так и возбуждение. С одной стороны, существует опасение, что студенты будут перекладывать свою домашку на LLM, не изучая ничего самостоятельно. С другой стороны, есть надежда, что LLM могут служить масштабируемыми, персонализированными преподавателями. Про то, насколько большой прирост даёт именно персонализированное обучение, я писал ранее.
И вот свежая статья от иследователя из University of Toronto и ребят из Microsoft Research. Здесь проводится эксперимент с участием 1200 людей, чтобы выяснить, как объяснение на основе LLM влияет на обучение. Более конкртено, берутся задачи 4 типов, аналогичные тем, что встречаются в SAT (аналог ЕГЭ в Америке) по математике. Это задачи с выбором ответа из четырёх опций, то есть самый простой вариант.
На первом этапе эксперимента авторы давали участникам 2 "practice" задачи (аналог домашней самоподготовки) и изменяли два ключевых фактора:
— видят ли они ответ до того, как отправляют свой (велик соблазн просто ответ вставить и не думать, "да там и так ясно");
— что показывали в качестве решения: ничего, краткое объяснение решения или детальное пояснение с рассказом общей формы решения задачи.
После этого тестируемые отвлекались на одну минуту (играли в змейку в браузере (не шутка)), а затем решали 2 схожие задачи, по которым и оценивался эффект.
Промпт для детального объяснения GPT-хой в первом комментарии.
Итак, что же обнаружили авторы?
gonzo-обзоры ML статей 2023-11-30 20:38:05
Больше LLM хороших и разных
The official repo of Qwen (通义千问) chat & pretrained large language model proposed by Alibaba Cloud.
https://github.com/QwenLM/Qwen
We opensource our Qwen series, now including Qwen, the base language models, namely Qwen-1.8B, Qwen-7B, Qwen-14B, and Qwen-72B, as well as Qwen-Chat, the chat models, namely Qwen-1.8B-Chat, Qwen-7B-Chat, Qwen-14B-Chat, and Qwen-72B-Chat. Links are on the above table. Click them and check the model cards. Also, we release the technical report. Please click the paper link and check it out!
In brief, we have strong base language models, which have been stably pretrained for up to 3 trillion tokens of multilingual data with a wide coverage of domains, languages (with a focus on Chinese and English), etc. They are able to achieve competitive performance on benchmark datasets. Additionally, we have chat models that are aligned with human preference based on SFT and RLHF (not released yet), which are able to chat, create content, extract information, summarize, translate, code, solve math problems, and so on, and are able to use tools, play as agents, or even play as code interpreters, etc.
Сиолошная 2023-11-30 18:01:36
30 ноября
Ровно год назад мир увидел ChatGPT
В это сложно поверить, но прошёл всего лишь год, а с выпуска GPT-4 и того меньше. Кто-то скажет, что прожитые 365 дней выдались урожайными на прогресс в AI, а другой возразит, что прорывов не произошло. Сегодня даже прочитал, что «Я вообще не помню жизни и работы до него ахах». Согласны? Узнали?
Я придерживаюсь точки зрения, что самый главный результат — это видимость для обычного пользователя интернета. AI (в широком смысле) начинает всё плотнее и плотнее входить в повседневную жизнь человека. Каждый от мала до велика скоро привыкнет к форм-фактору умной штуковины, сидящей в смартфоне в кармане. Как сказал Ilya Sutskever: «when I speak to it I feel understood» — и это правда. Машина П О Н И М А Е Т, что ты пишешь. Первое время я стеснялся использовать такие слова применительно к ChatGPT («понимает», «знает», «думает»), но быстро понял, что лучшего способа описать более точно просто нет (в английском языке тоже).
Я действительно верю, что в 2024м модели сделают большой шаг вперёд, и это привлечёт свежую волну интереса, обнажив новые пути использования технологии.
А пока, вот вам три работы, которые я не упоминал в канале, но которые запали в душу:
1) Voyager: An Open-Ended Embodied Agent with Large Language Models
2) Eureka: Human-Level Reward Design via Coding Large Language Models
3) Generative Agents: Interactive Simulacra of Human Behavior
С днём рождения, ChatGPT!
––––––––––
Вот интересно, ровер Curiosity после года существования на Марсе спел себе Happy Birthday... а что будет, если попросить GPT поздравить саму себя? Она ведь знает, что ей сегодня годик!
Кидайте в комментарии то, что у вас получилось!
Сиолошная 2023-11-30 13:32:29
Подоспела запись моего открывающего выступления для конференции Global CIO.
Там я:
— рассказываю про то, как правильно воспринимать AI сейчас, почему это действительно «другое», не то же самое, что технологии, которые мы уже видели
— пройдусь по типичным проблемам современного AI, и почему эти ограничения не должны мешать вам сегодня
— покажу как правильно смотреть на модели вроде GPT-4 и Claude
— разберу научные исследования влияния AI-ассистентов на продуктивность работников, чтобы показать, какую ценность можно извлекать уже сегодня
— и вишенка на торте: step-by-step гайд о том, что нужно делать, чтобы не отставать от AI (спойлер: не только подписаться на Сиолошную
Полистать слайды можно тут.
Напомню, что это первый мой опыт записи доклада/публичного выступления на английском языке. Оцениваем, ставим лайки (главное на YouTube не забудьте подписаться на канал, а то на следующей неделе еще лекции будут...ух...).
Bri'ish???
—————
Не обращайте внимания на обложку, просто захотелось сделать так называемый МЭМ. Контент внутри нормальный)
gonzo-обзоры ML статей 2023-11-30 13:11:16
Твиттер-тред от Франсуа Шолле
https://twitter.com/fchollet/status/1729512791894012011?t=-ttxTmq0vPQ91gyZ4fZr7g&s=19
gonzo-обзоры ML статей 2023-11-30 13:00:36
Тем временем вышел Keras 3.0.0.
Я бы сказал, возврат к истокам -- это снова multi-backend либа, но теперь с поддержкой JAX, PyTorch, TF и NumPy.
https://github.com/keras-team/keras/releases/tag/v3.0.0
Main highlights compared to Keras 2 are:
* Keras can now be run on top of JAX, PyTorch, TensorFlow, and even NumPy (note that the NumPy backend is inference-only).
* New low-level keras.ops API for building cross-framework components.
* New large-scale model distribution keras.distribution based on JAX.
* New stateless API for layers, models, optimizers, and metrics.
Сиолошная 2023-11-30 12:50:51
Новый пак апдейтов от Sam Altman и OpenAI касательно происходящего и ближайшего будущего компании.
Тезисно:
1) Sama говорит, что Adam D'Angelo, член совета директоров, на которого некоторые переводили стрелки, мол, он преследует свои интересы (он — CEO Quora, которая запустила Poe и магазин AI-ботов, прямо как OpenAI) — вообще клёвый мужик. Никаких проблем нет, он супер осторожен, обсуждал свой уход из совета директоров, если нужно (из-за конфликта интересов).
2) Также Altman подчеркнул, что Quora — крупный клиент OpenAI (они используют API ChatGPT), и что это помогает компании в планировании развития. А в будущем, по мере развития AI и затрагивания всё большей части экономики, придётся выстраивать отношения с бОльшим количеством разных организаций.
3) Sama (в третий раз) говорит, что приветствует независимый анализ его действий и произошедших событий, который инициировал новый совет директоров (это было одним из условий возвращения). При этом констатирует, что у него и борда «there were real misunderstandings». Интересно, что покажет расследование и будует ли что-то отдано в публичное поле.
Также в блоге OpenAI появились два письма, от нового CEO (Sam Altman) и председателя совета директоров, Bret Taylor, от лица всей борды.
1) Greg Brockman возвращается как Президент компании, Mira возвращается на роль CTO. Раньше думал, что президент — это председатель совета директоров, но оказывается нет. Не до конца понимаю, в чём эта роль.
2) Sama не испытывает неприязни к Ilya Sutskever, однако последнего не будет в совете директоров, а опции его дальнейшего сотрудничества с OpenAI «обсуждаются». Очень не хотелось бы терять «guiding light of the field and a gem of a human being» (цитата от Altman)
3) Старый-новый CEO также подчеркнул, что он управляет компанией вместе с Greg. Полагаю, что они очень близки по своим взглядам, и плотно дружат. Двойственность этой связи «так и не поняли, как передать это в организационной структуре, но мы это сделаем».
4) Sama поблагодарил команду leadership OpenAI за их работу в тяжелый период, и перечислил аж 17 имён, и говорит, что они и без него отлично бы управляли компанией. Интересно, как это скажется на новой структуре, над которой работает совет директоров. Как мне кажется, честно было бы включить руководителей направлений в расширенный совет.
5) OpenAI за время турбулентности не потеряли ни одного сотрудника, а также от них не ушёл ни один клиент.
6) У компании есть три основных приоритета. на данный момент:
— обновление и доработка плана исследований с упором на Safety
— улучшение сервиса для клиентов, доработки продуктов
— улучшение структуры управления компанией, набор нового репрезентативного совета директоров. Сюда также входит вышеупомянутое расследование деятельности Sam (логично: если он чист и действовал адекватно ситуации, то почему бы не вернуть его в директора?)
И к неудобным новостям: Microsoft получит место наблюдателя в новом совете директоров. В целом это не то чтобы плохо, но осадочек оставляет. Остальные члены совета не определены.
Neural Shit 2023-11-30 09:08:20
Тут мои товарищи из DeepSchool проводят онлайн мастер-класс по инженерным практикам и о том, как их использовать в своих проектах.
Там будут обсуждать как сделать свои эксперимены воспроизводимыми (версионированние данных, кода, моделей), инструменты повышающие качество кода (линтеры, тесты), как упростить свою работу (lighting, дебаггинг, трекинг и визуализация в CML) и прочие ништяковые полезности.
Спикер лекции — Егор Осинкин, Lead CV Engineer, EPAM.
Зарегистрироваться можно по ссылке.
Также ребята напилили в телеграм-бот (ссылка на него откроется после регистрации) для вас продолжение анализа вакансий из slack ods и singularis, посмотрели на связь между грейдами, требованиями и окладами, показали динамику зарплат в USD и RUB по грейдам, а также поделились размеченными данными и ноутбуком!
Зарегистрироваться
Neural Shit 2023-11-30 08:42:27
Лол, чувак в твитторе на каждом этапе просил Dalle-3 сделать айтишника ещё богаче.
В итоге получился какой-то цыганский барон
Neural Shit 2023-11-29 17:22:45
Всегда использовал для быстрых заметок избранное в телеграме. Сейчас понадобилось всё это дело хоть как-то структурировать, начал искать приложухи для заметок. А там ситуация примерно такая: куча красивых стульев, но все с пиками и хуями. Либо просит 100500 шекелей, либо без синхронизации, либо нет приложений под некоторые платформы, либо приложение открывается и грузитсяпо 15 секунд, либо просто говно ебаное.
Кто чем пользуется? Посоветуйте годноты. Важны древовидная структура (желательно больше двух уровней), синхронизация (желательно бесплатно), наличие приложух для windows, linux и android. Если есть встроенный to-do лист, то вообще заебца. Selfhosted решения тоже подойдут (и даже будут лучше)
Derp Learning 2023-11-29 12:59:36
Возвращаешься домой с работы. Пол устлан трупами насекомых.
Ослепший кот пытается теперь уже наощупь поймать зелёную точку на обоях.
Say 'bzzz' again. Say 'bzzz' again, I dare you, double dare you motherfucker, say 'bzzz' one more Goddamn time!
@derplearning
эйай ньюз 2023-11-29 01:08:57
Мои кореша из Stability AI зарелизили новый метод дистилляции для SDXL.
Показывают, что из дистиллированной SD-XL (ADD-XL) теперь можно семплить за 4 шага без существенной потери в качестве.
Судя по метрикам - это новая сота. Может работать и за один шаг семплера, но тогда генерирует меньше деталей и картинка выходит чуть более замыленная.
Это гибрид GAN-а и диффузии.
Тренировка основана на классическом методе дистилляции, но с дискриминатором! Когда число шагов снижается до одного, дискриминатор сильно добрасывает, ведь он не позволяет генерить полную кашу (это было уже показано в нескольких статьях в этом году).
1. Студент и учитель инициализируется весами SD-XL. Далее между предиктами студента и учителя накладывается L2 лосс. Любопытно, что учитель делает только 1 шаг, но начинает с зашумленного предикта студента, а не из случайного шума.
2. В качестве дискриминатора берутся фичи из ViT-S, натренированного в self-supervised режиме с помощью DINOv2. Затем эти фичи подают в тренируемую голову, которая выдает "Real" или "Fake". Тут важно именно брать сильный претренированный энкодер фичей, типа DINOv2.
Картиночки выглядят хорошо, но ниже 4х шагов - уже не то пальто.
Тренировочный код не выложили, и, кажется, его ждать не стоит.
Статья
Код и веса
Демо на ClipDrop (1 шаг)
@ai_newz
Neural Shit 2023-11-28 14:14:27
В тиктоках и прочих рилсах часто стали попадаться криповые сгенеренные нейронками хоррор видосы.
А самое ебаное, что я в них периодически люто залипаю вместо того, чтобы работать :(