Помните

Помните работу RT-2 от Google Deepmind, где брали языковую модель, давали ей контролировать робо-руку и смотрели, насколько хорошо получается решать задачи в реальном мире?

Сегодня представили RT-X, датасет, собранный усилиями более чем 30 исследовательских лабораторий. Он включает в себя более 500 навыков (читайте "действий"), 150,000 задач с суммарно более чем миллионом примеров. Все действия были собраны с 22 разных роборук.

В работе показано, что обучение одной и той же модели на данных из нескольких вариантов роботов приводит к значительно более высокому качеству (оно, напомню, замеряется долей решаемых задач).

Чтобы исследовать передачу знаний между разными роботами, авторы проводят эксперименты с моделью и робо-рукой RT-2 над задачами, которые включают в себя объекты и навыки, которых нет в исходном наборе данных именно для этой робо-руки, но представлены в других наборах. В этом случае, RT-2-X оказался в три раза лучше предыдущей лучшей модели RT-2.

Probably, ImageNet moment for Robotics.

Блогпост
Статья (ссылка на PDF)