Нейролента Mikitos.ru 2736 постов. Страница 49 (50 постов)
эйай ньюз 2023-06-09 08:43:34
Tracking Everything Everywhere All at Once
Сейчас прямо идёт волна улучшений в зрении вижене. Давеча мой коллега Алекс Кириллов прокачал сегментацию до нереальных результатов. Теперь парни из Гугла и Беркли завезли чертовски качественный попиксельный трекинг объектов на видео.
Для человека задача трекинга и нахождения соответствия между пикселями движущегося объекта кажется довольно простой. Но вот до сих пор как-то не было стабильных алгоритмов, которые бы могли плотно трекать объекты длительное время.
Конечно, проблему трекинга ещё не до конца решили. Этот метод довольно медленно работает (далеко не реал-тайм), и все ещё страдает от очень быстрых и неригидных трансформаций объектов. Но несмотря на это, мы имеем серьезный скачок в качестве.
Код, к сожалению, пока нет уже появился.
Читать на Arxiv. Либо смотреть картинки на сайте проекта.
@ai_newz
Neural Shit 2023-06-07 20:30:35
Ладно, покупаю
UX Live 🔥 2023-06-07 15:56:38
У Зума классный апдейт, который наверное все уже ждали лет 10 — теперь он может стенографировать и подытоживать целиком всю встречу давая краткую выжимку без кряхтений и скрипов стульев
https://news.zoom.us/zoom-iq-meeting-summary-chat-compose-free-trial/
Neural Shit 2023-06-07 14:25:32
Киберпанк, который мы заслужили
Neural Shit 2023-06-07 14:16:51
Наткнулся на интересный репозиторий, суть вкратце: этот инструмент с помощью нейронок поможет вам создавать увлекательные и информативные видеоуроки на любую тему. Персонажа можно сгенерировать саму.
Как оно работает:
1) Настраиваются параметры, такие как тема, уровень объяснения, возраст целевой аудитории, креативность и юмор. С учетом этих параметров пишется сценарий, чтобы объяснить выбранную тему.
2) Сценарий из предыдущего пункта разбивается на более мелкие предложения, которые затем используются для создания аудиодиалогов с помощью Text-to-Speech (TTS). Параллельно еще раз генерируется поисковый запрос для каждого предложения с помощью Cohere и Langchain. Эти поисковые запросы помогают получать релевантные изображения из Google, которые будут использоваться в качестве слайдов в презентации.
3) Создается видео для анимации персонажей, а затем неподвижные изображения из Google превращаются в слайд-видео. Эти слайды будут интегрированы в окончательную видеопрезентацию.
4) Сохраняется готовое видео, объединяя слайд-видео и видео с анимацией персонажей.
Качество хорошее, особенно если учесть, что это open source.
Если кого заинтересовало, исходники тут
Neural Shit 2023-06-07 13:27:47
И снова среда, мои чуваки! А традиции этого паблоса гласят, что в этот день нужно читать очередную порцию сгенерированных нейросетью фактов о лягушках. И я их вам принёс: свежие, горячие, только из нейронки достал! Вот они:
>>Жабы размножаются с помощью специального лазерного луча, который превращает определенный вид пыли в новую лягушку
>>Лягушки - единственные существа в мире, у которых есть посольство на Кубани
>>Люди с душами, у которых есть s * e * x, перевоплощаются в жаб.
>>Лягушки тайно занимаются генной инженерией. Таким образом, они успешно занимаются синтезом совершенной формы жизни — фрогноида (генетический материал человека + генетический материал лягушки). Проверьте, возможно вы фрогноид
>>Лягушки стали независимыми благодаря алкоголю
>>Кончики лягушачьих пальцев - самое мягкое место во вселенной. Они так мягки, что даже могут замедлить движение света.
>>Лягушки разработали свою собственную систему величин, в которой масса измеряется в прыжках, время - в кваканьях, а расстояние - в прудах
>>Если вы женщина и вас не зовут замуж, причина в том, что вы недостаточно похожи на лягушку
>>В СССР версии 2.0 официальной валютой будут лягушки
>>Лягушки обладают способностью общаться на древнегреческом языке. Если внимательно прислушаться к их кваканью, можно услышать диалоги о философии и литературе Древней Греции.
#среда
эйай ньюз 2023-06-07 12:03:29
🦍 Gorilla: Large Language Model Connected with Massive APIs
Языковые модели иногда врут и голлюцинируют и по умолчанию имеют доступ только к срезу данных, на которых обучались. Чтобы хоть частично решить эти проблемы, решено было дать им доступ к интернету, чтобы они гуглили и научить их пользоваться сторонними инструментами (через плагины). Вот тут я писал про плагины к ChatGPT, о которых позаботилась OpenAI.
А как же домашние LLM?
И тут опенсоурс не отстаёт. В этой работе парни прикрутили более 1600 API к LLaMa-7B. И их затюненая LLaMa обошла по качеству API вызовов даже GPT-4 и Claude AI!
Е-е-е, оупен-сорс вперёд!
Основной фокус этой статьи — вызовы нейронок через API с платформ Torch Hub, HuggingFace и Tensorflow Hub. То есть ты пишешь "я хочу детектировать и трекать голубей на видео" и модель выдаст вам какие API запросы нужно сделать. И это можно выстраивать в умные пайплайны, где по желанию пользователя будут вызываться разные модели.
Попробуй Гориллу за 60 сек (колаб)
Код
Сайт проекта
@ai_newz
Neural Shit 2023-06-07 11:37:02
Многие до сих пор не совсем понимают всю суть и прелесть плагинов ChatGPT. Вот тут отличный текст с их описанием:
https://t.me/tldr_tany/143
эйай ньюз 2023-06-06 17:15:02
ЛеКун быстро поел и ушел, так что я с ним не поболтал 🤷♂. Если честно, то было стрёмно к нему лично подкатывать, хз с чего разговор начинать.
Или надо было сказать "Привет, Ян. Ох, как здорово ты разъебываешь Юда в твиттере! Слежу за всеми твоими похождениями." ?)))
Жду ваши варианты подкатов к Яну в комментах.
эйай ньюз 2023-06-06 13:35:54
Заехал я сегодня в наш парижский офис. Сижу в столовой, обедаю, общаюсь с товарищем из команды Xformers, никого не трогаю.
Тут заходит Ян ЛеКун и садится за соседний стол 😳. Он как раз приехал в Париж на несколько дней. Обычно Ян находится в Нью-Йорке, и раньше я его видел только по видео связи во время презентации статей на ридинг клубах.
Надо подойти пообщаться за AI алармизм 🌚.
@ai_newz
Метаверсище и ИИще 2023-06-06 11:01:24
Интересный проект. Stable Diffusion + Control Net для создания QR кодов невиданной красоты.
Подробности, как вы понимаете, по ссылке из куар-кода.
Источник тут
https://twitter.com/ben_ferns/status/1665907480600391682
эйай ньюз 2023-06-05 18:35:37
Vision Pro: Когда крутил круглые тензоры трансформеры на новом железе всю ночь
@ai_newz
эйай ньюз 2023-06-05 18:30:47
Пошла жара. Сейчас говорят про свой VR хедсет - Apple Vision Pro.
Крутой pass-through (это когда ты видишь реальный мир, и на него наложены виртуальные объекты)
Вот только, что за кабель торчит из очков сзади 😁. Так можно и спотыкнуться. В общем далеко не убежишь с ними.
Цена $3499. В следующем году появятся в продаже.
@ai_newz
эйай ньюз 2023-06-05 18:24:22
Идет трансляция WWDC 2023 Apple
Пока самое интересное для нас - это новое железо. А оно ого-го какое!
— Новый 15" MacBook Air дает прикурить любому ноуту на чипах от Intel. Плюс еще и нейронки будет гонять отлично. [Буду брать.]
— Apple Silicon теперь и на Mac Pro.
— Новый чип M2 Ultra - это просто зверь для ML. Дополняется объемом до 192 GB RAM, к которой есть доступ у Metal GPU. А это очень дохрена! Такой объём память позволяет тренить и гонять инференс больших трансоформеров, которые не влазят даже в самую большую GPU от NVIDIA. Тут и LLaMa 65B можно засунуть.
Трансформеры бррр, как говорится.
П.с. цена на Mac Pro начинается от $7k.
Текстовая трансляция ивента
Видео трансляция
@ai_newz
Neural Shit 2023-06-05 10:43:01
Привет! Хочется порекомендовать вам канал @PonchikNews Алексея Иванова. В нем вы найдете полезные советы по практической психологии, привычкам, саморазвитию и связи этих вещей с ИИ и другими технологиями, которые влияют на нашу жизнь.
Возможно, вы думаете: "Зачем мне еще один канал?" Вот три причины:
1️⃣ Качественный контент: автор канала предлагает проверенную информацию для вашего развития и успеха, опирается на данные и исследования, в курсе последних трендов в этих областях.
2️⃣ Актуальные темы: канал затрагивает важные для каждого темы: саморазвитие, технологии, аутентичная коммуникация, практическая психология, адаптивность.
3️⃣ Поддержка и вдохновение: в постах вы обнаружите оптимизм и юмор, который дает мотивацию для достижения своих целей и улучшения качества жизни.
Примеры постов про 💆♀️ развитие и коучинг:
🍩 Подписаться тут → Пончик Ньюс
эйай ньюз 2023-06-05 09:35:51
Ничего особенного. Просто LLaMa.cpp на 7 млрд параметров работает со скоростью 40 токенов/сек на MacBook с чипом M2 Max.
Это стало возможным после недавного обновления репозитория от Герганова, где он полностью реализовал инференс моделей на Metal GPU (это специальный ускоритель на новых чипах Apple). Мы видим 0% CPU утилизации, и загрузку всех 38 Metal ядер. Поистине искусный инженер от народа!
От себя добавлю, что очень хочу увидеть будущее, где у каждого локально бегает своя персонализированная LLM-ка, помогающая в рутинных делах. Это называется модулярностью. Огромную модель тренируют централизовано, а далее каждый пользователь легко и быстро (мы к этому стремися) ее дошлифовывает на своих персональных данных и крутит только локально.
@ai_newz
Джейпег Малевича 2023-06-02 15:11:50
Лайв с Марса. Через час вы сможете наблюдать, что происходит на Красной планете в реальном времени. Первый в истории стрим с Марса будет вести станция Mars Express, которую запустили аж 20 лет назад.
Смотреть здесь. Задержка картинки — около 50 секунд.
эйай ньюз 2023-06-02 09:25:44
Вместо похода в спортзал, чтобы не отрываться от компьютера, берем Photoshop Beta и рисуем себе селфак из зала.
Норм тема. Just do it 😎.
@ai_newz
Neural Shit 2023-06-02 08:18:31
Киберпанк, который мы заслужили
эйай ньюз 2023-06-01 19:04:51
Про обновления игр на Quest
А вот и запись трансляции Meta Quest Gaming Showcase 2023.Там показали новые игры, и их обновления, которые в скором времени выйдут на платформе Quest.
Как раз вы спрашивали про новые игры в комментариях к предыдущему посту.
@ai_newz
эйай ньюз 2023-06-01 16:06:54
Meta анонсировала Quest 3!
Дроп будет осенью, по цене $499 за штуку. Новый девайс будет мощнее и компактнее чем предыдущая модель.
В этой штуковине будет крутится пара моих нейронок тоже! Я успел кое-чего сделать перед своим переходом из Reality Labs, которая как раз занимается хедсетами, в Generative AI оргу.
@ai_newz
эйай ньюз 2023-06-01 07:44:02
Интервью с несуществующими гостями или AI для шоу-криэйторов
Парнишка сгенерил интервью, где Месси разговаривает с молодым собой и даёт себе наставления 😅.
И лица, и голоса, и текст — все синтетическое. Тут Midjorney, ChatGPT-4, сетка для анимации головы и text2speech [тык].
Довольно забавно вышло. Осталось только качество картинки довести до реализма. Кажется, это будущее развлекательных шоу, если только копирайтами и регуляциями не задавят все такие применения нейронок.
@ai_newz
Neural Shit 2023-06-01 06:41:27
Сейчас сидел игрался с генерацией изображений в Кандинском и теперь мы знаем, как выглядели бы разные персонажи, если бы они были героями Mortal Kombat.
1)Паровозик Томас (финальный босс, лол)
2)Шрек
3)Свинка Пеппа
4)Трамп
5)Спанчбоб
6)Ким Чен Ын
7)Лягушонок Пепе
8)Сталин
9)Илон Маск
10)Марио
Neural Shit 2023-05-31 23:04:40
Наконец-то нормальное применение для вот этой новой фотошопной нейрофичи для аутпэйнтинга: дорисовывание старых мемов.
Тред в твиттере
эйай ньюз 2023-05-31 10:14:15
Вы уже наверное слышали, что на прошлой неделе Adobe выкатил в прод фичу Generative Fill.
Принес вам пару классных демо работы их генеративного инпейнтинга.
Под капотом, конечно, диффузионная модель. Качество генерации прям отлично 👌.
Но тут надо понимать две вещи. Во первых — это конские цены на подписку Adobe, которые покрывают Аренду видеокарт A100 в облаке для прогонки диффузионнок. Стоит ожидать и повышение цены либо лимиты на генерацию.
Во вторых, отличное качество не удивительно, если учесть тот факт что качественные данные для обучения у Адоби прут из всех щелей. Дело в том, что по пользовательскому соглашению весь арт, который вы создали в их продуктах может быть использован компанией для обучения моделей. А как мы знаем, чистые данные и их большой объем — это залог успеха для генеративных моделей.
@ai_newz
Neural Shit 2023-05-31 09:30:29
И снова среда, мои чуваки! И снова по традиции я нагенерировал нейронкой факты о лягушках и припёр их сюда! Вот они:
>>Лягушки имеют доступ к секретной сети "Веб-Квак", которая куда быстрее и безопаснее Интернета. Все лягушки в мире связаны этой сетью, что позволяет им передавать информацию между собой практически мгновенно.
>>Лягушки, в действительности, являются тайными агентами суперинтеллекта из будущего, отправленными назад во времени, чтобы вмешаться в развитие человечества.
>>Лягушки могут проникать в интернет, обходя все виды сетевой защиты, чтобы смотреть наши мемы и изучать человеческое поведение.
>>Лягушки на самом деле изобрели первую версию Google, но они забыли написать об этом в истории, поскольку у них проблемы с памятью
>>Лягушки - самые лучшие игроки в покер среди всех видов земноводных. Они мастера скрывать свои эмоции.
>>Мона Лиза на самом деле изображает лягушку, которую Да Винчи случайно перепутал с женщиной из-за своего слабого зрения.
>>Лягушки по ночам переворачиваются вверх брюшком и светятся, служа навигационными ориентирами для спутников
>>Лягушки изобрели первые компьютерные игры, но не могли в них играть из-за маленького количества пальцев
>>Лягушки ведут ежедневный влог на Ютубе, но только в спектре света, невидимом для человеческого глаза.
>>Когда лягушки спят, они видят мечты в оттенках зелёного цвета
>>В СССР лягушки обладали гражданством и имели право голоса на выборах. Именно поэтому коммунисты так долго были у власти
#среда
Neural Shit 2023-05-30 20:38:38
Киберпанк, который нам нахуй не всрался мы заслужили
https://t.me/vecherniy_danya/2217
эйай ньюз 2023-05-30 13:41:03
▶️ Вышла запись видео-интервью, где я в гостях у @deep_school
О чем мы поговорили:
0:00 | Вступление
0:40 | Как Артём стал автором эйай ньюз
2:44 | О ведении канала и личном бренде на русском языке
10:45 | Куда писал Артём до эйай ньюз и как его вдохновил Яник
16:12 | Плюсы личного бренда на русском языке
17:30 | О работе Артёма в Meta
21:43 | Как устроена и работает ресерч группа в Meta
30:10 | Как разделены обязанности в команде
37:05 | Какие тренды в CV сегодня?
46:10 | Куда сейчас смотреть CV инженеру, чтобы оставаться актуальным?
Вопросы из зала:
50:55 | Нужна ли RnD команда компаниям, у которых продукты связаны с ML?
52:43 | Откуда каналы узнают об интересных статьях?
54:00 | Насколько важно ресерчеру знать низкоуровневые скиллы?
55:10 | Когда беспилотные авто выйдут на дороги и будут везде?
Посмотреть и послушать можно на Ютубе.
#personal #карьера
@ai_newz
Neural Shit 2023-05-30 13:22:15
Кажется, ChatGPT только что слил мне исходники Советского Союза
эйай ньюз 2023-05-29 18:30:28
🔊SoundStorm: Efficient Parallel Audio Generation
Свежачок от Google! Кто-то еще сомневается, что AI через год не сможет позвонить по телефону и забронировать для вас столик в ресторане?
А в этой работе все даже круче. Нейронка умеет синтезировать даже диалоги с разными голосами. То есть сможет прочитать любой блогпост либо интервью для вас, как будто бы слушаете подкаст.
Что синтезировать можно задать текстом, а сам голос можно задать примером из нескольких секунд реальной записи.
✔️Архитектура не авторегрессионная (как в AudioLM), а генерит сразу кусками по 30 секунд, что более эффективно.
✔️Сеть тренировали на датасете из 100,000 часов диалогов.
✔️По скорости инференса уже довольно бодро, 30 секунд диалога генерируется за 2 сек на TPU-v4. И я уверен, что скоро будет еще быстрее.
Статья
Примеры
Неофициальный код от lucidrains
@ai_newz #audio
Шесят Шестой 2023-05-29 12:44:31
Впечатляет: чувак показал, как провёл каждый час целого года.
Или наглядно о том, как много времени мы отдаём работе.
Neural Shit 2023-05-28 11:20:39
Попросил GPT-4 написать названия статей уголовного кодекса, которые по мнению нейронки будут действовать через 300 лет. Чтож, кажется, будущее будет интересным:
>>Статья 800. Использование сверхъестественных способностей в целях улучшения кредитной истории
>>Статья 902. Любовные утехи с использованием космических тел без их явного согласия.
>>Статья 999. Нелегальная реинкарнация
>>Статья 215. Излишнее использование смайликов в официальной переписке
>>Статья 222. Безразличное отношение к появлению черных дыр в космосе
>>Статья 852. Свирепство против пельменей: отказ варить, пожарить или съесть, без оправдательных обстоятельств
>>Статья 824. Превышение разрешенного количества личных клонов
>>Статья 732. Подделка планетарных орбит
>>Статья 1203. Организация тайного клуба зомби-мертвецов для свержения правительства.
>>Статья 715. Неправомерное владение и использование драконьих яиц в масштабах, превышающих дозволенные пределы.
>>Статья 1500. Неуплата штрафа за нарушение физических законов
>>Статья 2001. Преступление против покемонов: поимка редкого покемона без уведомления Международного покедекса.
>>Статья 1313. Превышение скорости бега при использовании бионических протезов или кибернетических имплантатов.
>>Статья 1616. Кража снов с целью их последующей продажи на черном рынке.
>>Статья 753. Незаконная организация рэп-баттлов между роботами и людьми
>>Статья 3112. Преступление против реальности: создание и распространение воображаемых друзей.
>>Статья 5210. Незаконное распространение улыбок во время пандемии серьезных болезней.
>>Статья 826. Нарушение правил общественного этикета во время пребывания на другой планете
>>Статья 1420. Хищение планетарных ресурсов с использованием воровских роботов-андроидов.
>>Статья 2001. Беспредельное употребление кетчупа
>>Статья 719. Оскорбление машинного интеллекта
>>Статья 2 218. Нарушение покоя грибов в лесу
>>Статья 887. Умышленное прекращение дыхания
>>Статья 482. Создание и распространение компьютерных вирусов, превращающих утюги в агрессивных роботов-гладильщиков
>>Статья 899.2. Злостное игнорирование роботических законов, приводящее к хаосу во вселенной
>>Статья 3999. Использование временной петли для воровства у себя же в будущем (включая нелегальное использование квантовых алгоритмов для переписки с параллельными версиями самого себя)
эйай ньюз 2023-05-27 18:41:13
NVIDIA — это, конечно, одна из моих самых любимых технологических компаний. И сейчас она производит основные мощности для всей этой ЭЙАЙ революции (гугловские TPU не в счёт). Но капитализация в почти $1 триллион— это просто нечто. С текущим хайпом компания оценивается в 222 своих годовых прибылей!
Насколько я понимаю, сейчас им довольно трудно быстро масштабировать свое производство, ведь они не владеют всей цепочкой от начала до конца. #моемнение
@ai_newz
эйай ньюз 2023-05-26 16:28:20
Google раскатил у себя автоматизацию Code Review с помощью LLM
А вот это уже реально полезная автоматизация. Все же не любят долгие код ревью с туда-сюда комментариями.
Однако ревью кода является ключевым этапом в процессе разработки ПО. В Google (да и у нас в Meta) ежегодно оставляются миллионы комментариев во время ревью коммитов, и обработка этих комментариев занимает много времени у авторов кода. Однако с помощью LLM можно автоматизировать этот процесс, генерируя правки к коду прямо в браузере на основе комментариев.
Google так и поступил, что помогло им сократить время, затрачиваемое на ревью кода. Языковая Модель (думаю на основе Palm-2) обучалась на типичных задачах по коду, типа рефакторинга, написания тестов, и комментариях ревьюверов, предсказывая необходимые изменения кода.
В будущем мы вообще перестанем код сами писать.🌚
Блог
@ai_newz
Neural Shit 2023-05-26 12:34:18
Вот и поговорили
Neural Shit 2023-05-26 10:57:50
Копипаста про батин суп в стиле SCP, например
эйай ньюз 2023-05-26 10:24:45
Моя статейка Avatars Grow Legs про синтез ног и тела без дополнительных сенсоров навела шороху у AR/VR блогеров.
Вот, можете посмотреть один из обзоров, почему эта технология важна.
@ai_newz
Neural Shit 2023-05-25 12:57:01
Кордебалет - это, конечно, круто.
Но видели ли вы крабобалет?
спер с реддита
Neural Shit 2023-05-25 12:39:37
Уверен, что через пару-тройку лет 90% задач в фотошопе будут решаться исключительно таким образом
Neural Shit 2023-05-25 12:22:32
Наткнулся на интересный репозиторий: генерация персонажей в разных стилях с помощью только одного фото.
Сам еще не пробовал, ближе к вечеру буду играться. Если кому нужно, то вот ссылка
эйай ньюз 2023-05-25 10:00:19
Sophia: новый оптимизатор, который 2x быстрее, чем Adam для тренировки LLM
До сих пор все тренируем со старым добрым Адамом. А ему уже 7 лет!
Не так давно я писал о многообещающем оптимизаторе LION. Ну, а теперь появился еще один интересный кандидат.
Sophia — это оптимизатор, который использует быструю оценку Гессиана (матрица вторых производных) для того чтобы быстрее двигаться в плоских областях ландшафта функции потерь, где именно Адам довольно медленно продвигается. Вторые производные тут как раз помогают более точно понять, в каком направлении нужно оптимизировать параметры.
Вычислять Гессиан в общем случае довольно медленно, поэтому методы второго порядка так и не получии распространения в DL.
На картинке есть псевдокод, из которого видно, что оценить диагональные элементы Гессиана можно довольно быстро.
Sophia ускоряет обучение LLM в 2 раза (!). Протестировали на GPT-2 моделях масштаба от 125M до 770M параметров. Тренд на дальнейшее масштабирование выглядит хорошо.
❱❱ Arxiv | Code
@ai_newz
Neural Shit 2023-05-24 15:38:37
❓ Хотите перейти из разработки в Data Science? Или выйти на новый уровень в Machine Learning? Одна из задач продвинутого ML-специалиста — создание рекомендательных систем.
📆 24 мая в 20:00 мск на открытом уроке в OTUS мы разберем, как рекомендовать визуально похожие товары. 👉 https://otus.pw/9S45/
Занятие приурочено к старту онлайн-курса «Рекомендательные системы» в OTUS. Вместе с Александром Брут-Бурляко, DS-инженером крупной IT-компании, разберем, как использовать векторное представление изображений и нейросети компьютерного зрения для поиска объектов по фото.
😎 В результате вы поймете, как:
- Работать с глубокими нейросетями компьютерного зрения
- Готовить изображения для обработки
- Сделать рекомендательную систему на основе похожих изображений.
После вебинара вы сможете продолжить обучение на курсе. Сейчас доступны разные способы оплаты.
Для участия пройдите вступительный тест 👉 https://otus.pw/9S45/
Нативная интеграция. Информация о продукте на otus.ru
Neural Shit 2023-05-24 14:59:02
Гляньте какая классная моделька для генерации ёбычей в карикатурном стиле.
потестить/скачать можно тут
Neural Shit 2023-05-24 14:07:23
И еще чуть-чуть всратых нейронномиксованных животных
КиберОлег 🦄🤖🙌 2023-05-24 11:40:28
Понедельник возможность для чего-то нового. Например, сделать шапочку из фольги
Потому что исследователи улучшили механизм восстановления мыслей по скану МРТ. Видео восстанавливают нейросетью стейбл диффужн. Слева оригинал / справа восстановленный поток
https://arxiv.org/abs/2305.11675
Neural Shit 2023-05-24 10:46:21
Киберпанк, который мы заслужили
Neural Shit 2023-05-24 09:30:53
И снова среда, мои чуваки! А это значит, что настало время читать удивительные нейронные факты о лягушках! Вот они:
>>Во время полной луны лягушки проводят тайные собрания, на которых обсуждают глубокие философские вопросы о смысле жизни и вселенной.
>>В СССР был создан специальный научно-исследовательский институт по изучению жаб, где проводились эксперименты по обучению лягушек игре на балалайке
>>Лягушки имеют свою собственную религию, в которой они поклоняются древнему божеству по имени "Квакама", принося ему жертвы из людей и водорослей.
>>Лягушки являются дипломатами между Землей и другими галактиками.
>>В отличие от людей, которые спят, чтобы отдохнуть, жабы спят, чтобы видеть сны о захвате мира
>>Жабы являются самыми продвинутыми программистами в мире, их код настолько эффективен, что компьютеры, работающие на их алгоритмах, моментально становятся самосознательными.
>>Если положить лягушку в трусы и прыгнуть три раза, то ваши мечты обязательно сбудутся
>>Лягушки умеют говорить на всех языках мира и часто помогают людям переводить тексты на разные языки. Многие думают, что переводчик Google и другие подобные сервисы переводят текст с помощью специальных алгоритмов. На самом же деле алгоритмов перевода не существует, это сотни тысяч лягушек переводят ваш текст
>>Лягушки практикуют йогу и медитацию, чтобы достичь гармонии со своим внутренним кваком и осознанности в лягушачьем мире.
>>Лягушки являются небесными навигаторами и помогают звездам на небесах не сбиться с курса, сопровождая их кваканьем и танцами
#среда
эйай ньюз 2023-05-24 08:59:04
Как выжать максимум из GPT: Пара советов от Карпатого, с моими добавками
🔹Цель 1: Достигнуть максимально возможной производительности с GPT:
— Используйте GPT-4. Пишите промпты с подробным контекстом задачи, актуальной информацией и инструкциями
— Автоматически ищите и добавляйте любой релевантный контекст или информацию в промпт, например используя текстовые эмбеддинги.
— Экспериментируйте с методиками промпт-инжиниринга
— Экспериментируйте в промпте с few-shot примерами, которые 1) актуальны для вашей задачи, 2) разнообразны (если возможно)
— Экспериментируйте с инструментами/плагинами, чтобы помочь LLM решать сложные для нее задачи (калькулятор, выполнение кода, ..)
— Потратьте время, оптимизируя свой пайплайн ("цепь" операций), например в langchain
— Если вы уверены, что выжали максимум из промптов, то рассмотрите возможность сбора качественных данных для supervised fine-tuning + сам fine-tuning
— Уровен сложности "Эксперт" / "ресерчер": соберите данные для модели Reward и зафайнтюньте с помощью RLHF.
🔹Цель 2: Оптимизация затрат
— Как только вы достигли максимально возможной производительности, попробуйте сэкономить бабло (например, используйте GPT-3.5, найдите более короткие промпты и т.д.)
@ai_newz
эйай ньюз 2023-05-24 08:42:30
Наконец-то нормальный доклад про тренировку ChatGPT. Карпатый сделал вчера презу в Microsoft и хорошо раскидал.
От токенизации, до претрейна, supervised файнтюнинга и RLHF. И все это за 40 минут.
Доклад
@ai_newz
эйай ньюз 2023-05-23 12:25:33
Если вы пропустили, то прямо сейчас идёт DataFest, организованный ODS. Сегодня будет несколько интересных докладов про языковые модели.
Вот ссылка на лайв в Ютубе.
@ai_newz