В журнале Science когда-то была опубликована статья, которая...
В журнале Science когда-то была опубликована статья, которая высказывает и анализирует аргументы к тезису:
Социальная среда стимулирует развитие бОльшего мозга и сложных когнитивных способностей.
Ilya Sutskever в своём докладе 5ти летней давности говорит, что он сам лишь на 75% уверен в таком утверждении. Правда он также шутит, что для практически любого утверждения можно найти научную статью, которая его подкрепляет)
В общем, вокруг этого аргумента Ilya рассуждает о возможности агентов (как общих RL-агентов, так и тех, что основаны на языковых моделях) развиваться, учиться и прогрессировать в социальной среде (то есть такой, где помимо самого агента есть еще другие, со своими, возможно, схожими целями). Например, у людей из-за жизни в сообществе развиваются социальные навыки, Theory of mind (про неё писал тут), умение договариваться и вообще понимать, что от тебя хотят. Однако на уровне с этим также выучивается и агрессия к тем, кто окружает тебя. Нужно думать не только о себе, но и о других агентах, что существенно усложняет приобретаемые и выучиваемые паттерны поведения.
Что если мы возьмем несколько разных GPT, и запустим их в среду для общения друг с другом, давая лишь очень высокоуровневое описание какой-либо задачи? Этот приём хорошо работает в других областях: именно так машины учились играть в Го, и ровно таким же путём сами OpenAI обучали ботов играть в DotA 2.
А главное, чего хочется достичь — это генерализации, или скорее даже мета-обучения (то есть приобретения навыка учиться учиться), чтобы в новых и неизведанных задачах уметь разбираться.
Хорошая новость для AI в том, что в данном случае скорость "эволюции" моделей ограничена лишь нашими вычислительными мощностями. Чем больше железа вкидываем в "общение" и "обучение" моделей — тем быстрее они движутся по траектории развития. Уже сейчас у OpenAI есть ресурсы, чтобы запускать несколько тысяч моделей в параллель. Вполне возможно, что именно поэтому они недавно прикупили компанию, занимающуюся разработкой своего аналога Minecraft🤔
Социальная среда стимулирует развитие бОльшего мозга и сложных когнитивных способностей.
Ilya Sutskever в своём докладе 5ти летней давности говорит, что он сам лишь на 75% уверен в таком утверждении. Правда он также шутит, что для практически любого утверждения можно найти научную статью, которая его подкрепляет)
В общем, вокруг этого аргумента Ilya рассуждает о возможности агентов (как общих RL-агентов, так и тех, что основаны на языковых моделях) развиваться, учиться и прогрессировать в социальной среде (то есть такой, где помимо самого агента есть еще другие, со своими, возможно, схожими целями). Например, у людей из-за жизни в сообществе развиваются социальные навыки, Theory of mind (про неё писал тут), умение договариваться и вообще понимать, что от тебя хотят. Однако на уровне с этим также выучивается и агрессия к тем, кто окружает тебя. Нужно думать не только о себе, но и о других агентах, что существенно усложняет приобретаемые и выучиваемые паттерны поведения.
Что если мы возьмем несколько разных GPT, и запустим их в среду для общения друг с другом, давая лишь очень высокоуровневое описание какой-либо задачи? Этот приём хорошо работает в других областях: именно так машины учились играть в Го, и ровно таким же путём сами OpenAI обучали ботов играть в DotA 2.
А главное, чего хочется достичь — это генерализации, или скорее даже мета-обучения (то есть приобретения навыка учиться учиться), чтобы в новых и неизведанных задачах уметь разбираться.
Хорошая новость для AI в том, что в данном случае скорость "эволюции" моделей ограничена лишь нашими вычислительными мощностями. Чем больше железа вкидываем в "общение" и "обучение" моделей — тем быстрее они движутся по траектории развития. Уже сейчас у OpenAI есть ресурсы, чтобы запускать несколько тысяч моделей в параллель. Вполне возможно, что именно поэтому они недавно прикупили компанию, занимающуюся разработкой своего аналога Minecraft
Источник: Сиолошная
2023-08-29 09:23:12