14ое декабря выдалось жарким на релизы

14ое декабря выдалось жарким на релизы. Помимо двух упомянутых работ, OpenAI выложили 20-страничную статью, в которой разбирают проблемы, связанные с агентными ИИ-системами. Про агентов я недавно писал и давал определение. А вот как предлагают определять их OpenAI:
—  системы, которые адаптивно преследуют сложные составные цели, используя рассуждения, и при этом не каждый их шаг контролируется человеком (то есть им предоставляется автономия), а поведение не заложено заранее.
— они способны на широкий спектр действий и достаточно надежны, чтобы в определенных обстоятельствах пользователь мог доверить им эффективно и автономно выполнять задачи для достижения сложных целей ВМЕСТО пользователя.

В преддверии появления таких систем появляется огромное количество открытых вопросов, начиная от моральных и заканчивая техническими. OpenAI выделяют 8 групп, и для каждой прописывают 3-8 вопросов «на подумать»:
— Оценка пригодности для задачи (как понять, подходит ли система под проблему?)
— Ограничение пространства действий и требование одобрения (когда действия должны требовать явного одобрения человеком?)
— Настройка поведения агентов по умолчанию (то есть задание «духа» работы: скажем, пользователь предпочитает, чтобы агент не тратил их деньги)
— Чёткость действий агентов (как обеспечить видимость внутренних рассуждений модели и гарантировать, что агент им следует?)
— Автоматический мониторинг (в дополнение к предыдущему пункту — как автоматизировать контроль? ведь нельзя перепроверять каждое действие. А когда звать человека?)
— Атрибуция (Как мы можем практически обеспечить надежную проверку личности агента ИИ и соотнести его с пользователем?)
— Косвенные эффекты агентных систем ИИ (и как к ним готовиться. Сюда входят экономические последствия, гонка за внедрением технологии, итд)
— Прерываемость и поддержание контроля (как правильно останавливать работу агента. Представьте что бот уже выполнил часть задач, и ему нужно отключиться. Нужно ли отменить первые результаты, например, отправленные пользователям письма?)

К последнему также прилагается задачка со звёздочкой: если мы хотим, чтобы при запросе на прерывание работы агент сделал ещё несколько действий для минимизации рисков (чтобы ничего не «подвисло» из числа выполненных задач), то как гарантировать, что одним из действий не будет...отключение человека от контроля?

Для ответа на все эти вопросы OpenAI учредили гранты от $10k до $100k, и каждый может на них податься вот тут (до 20го января). Гранты дают деньгами, а сверху могут насыпать API-кредитов для исследований. Заявки будут оцениваться на основе вашего плана действий (как именно проводить исследование).

Интересен таймлайн: 9го февраля объявят выбранных участников, а на работу отводится от 3 до 8 месяцев. К октябрю должен быть результат. 😏 Означает ли это, что на следующем OpenAI DevDay, как тизерил Sama, нас ждут шокирующие анонсы агентных систем для всех, в которые как раз и внедрят лучшие практики из числа происследованных?