Вышла статья группы Жана-Реми Кинга (Meta AI*) о...
Вышла статья группы Жана-Реми Кинга (Meta AI*) о неинвазивном декодировании речи
Использовались большие открытые датасеты МЭГ и ЭЭГ, записанные при прослушивании аудиокниг -- на них обучали "мозговой модуль". Кроме того, был использован ранее самообучившиийся на еще большем объеме сугубо языковых данных "речевой модуль" wav2vec 2.0 -- из него брались контекстные языковые репрезентации.
here we propose to decode speech from non-invasive brain recordings by using (1) a single architecture trained across a large cohort of participants and (2) deep representations of speech learned with self-supervised learning on a large quantity of speech data
Alexandre Défossez, Charlotte Caucheteux, Jérémy Rapin, Ori Kabeli, Jean-Rémi King. Decoding speech perception from non-invasive brain recordings. Nature Machine Intelligence, 5 October 2023 https://doi.org/10.1038/s42256-023-00714-5 (Open Access)
Код: https://github.com/facebookresearch/brainmagick
Препринт был опубликован больше года назад, мы тогда о нем писали, и далее посвятили ему еще несколько постов (большинство ссылок на них собрано тут). Напомним, это никакое не "чтение мыслей", а весьма неточное гадание о том, что человек слушал в тот момент, когда у него регистрировали МЭГ (или ЭЭГ, но с нею получалось, разумеется, еще хуже). Но, понятное дело, наш канал далеко не все читают, так что сейчас пойдет очередная волна фанфар, рукоплесканий и рассуждений о замечательном открытии и вскоре предстоящем нам всем чтении наших мыслей (вот уже тут написали в таком духе). Поэтому еще раз напоминаем о недавно вышедшем в издании ТрВ — наука весьма качественном и написанном понятным языком разборе этого семейства исследований, которое, надеюсь, поможет вам понять, почему угадывание прослушиваемого и просматриваемого к "чтению мыслей" имеет очень мало отношения, если вы все еще это не поняли.
* Meta в РФ забанена и признана экстремистской (и, возможно, уже скоро посты о ее исследованиях больше нельзя будет публиковать в РФ, в связи с готовящимися очередными новациями в законодательстве...)
Использовались большие открытые датасеты МЭГ и ЭЭГ, записанные при прослушивании аудиокниг -- на них обучали "мозговой модуль". Кроме того, был использован ранее самообучившиийся на еще большем объеме сугубо языковых данных "речевой модуль" wav2vec 2.0 -- из него брались контекстные языковые репрезентации.
here we propose to decode speech from non-invasive brain recordings by using (1) a single architecture trained across a large cohort of participants and (2) deep representations of speech learned with self-supervised learning on a large quantity of speech data
Alexandre Défossez, Charlotte Caucheteux, Jérémy Rapin, Ori Kabeli, Jean-Rémi King. Decoding speech perception from non-invasive brain recordings. Nature Machine Intelligence, 5 October 2023 https://doi.org/10.1038/s42256-023-00714-5 (Open Access)
Код: https://github.com/facebookresearch/brainmagick
Препринт был опубликован больше года назад, мы тогда о нем писали, и далее посвятили ему еще несколько постов (большинство ссылок на них собрано тут). Напомним, это никакое не "чтение мыслей", а весьма неточное гадание о том, что человек слушал в тот момент, когда у него регистрировали МЭГ (или ЭЭГ, но с нею получалось, разумеется, еще хуже). Но, понятное дело, наш канал далеко не все читают, так что сейчас пойдет очередная волна фанфар, рукоплесканий и рассуждений о замечательном открытии и вскоре предстоящем нам всем чтении наших мыслей (вот уже тут написали в таком духе). Поэтому еще раз напоминаем о недавно вышедшем в издании ТрВ — наука весьма качественном и написанном понятным языком разборе этого семейства исследований, которое, надеюсь, поможет вам понять, почему угадывание прослушиваемого и просматриваемого к "чтению мыслей" имеет очень мало отношения, если вы все еще это не поняли.
* Meta в РФ забанена и признана экстремистской (и, возможно, уже скоро посты о ее исследованиях больше нельзя будет публиковать в РФ, в связи с готовящимися очередными новациями в законодательстве...)
Источник: Нейроинтерфейсы
2023-10-06 09:43:48