RoboLab - симуляционная платформа NVIDIA для бенчмаркинга роботов. Базовые модели робототехники совершили впечатляющий скачок, считают в компании. Но чем мощнее становятся эти модели, тем острее встает проблема их объективной оценки.
Это одна из самых сложных нерешенных задач в робототехнике. В этом посте мы разберем ключевые проблемы и расскажем, как их решаем.
Почему текущие бенчмарки не работают
Тестирование в реальном мире - дорогое, медленное и плохо воспроизводимое занятие. Чтобы по-настоящему оценить работу робота, нужен адекватный заменитель. Симуляция - естественная среда для массовых испытаний. Но у большинства существующих бенчмарков есть общие критические недостатки.
Визуальное пересечение обучения и оценки
Данные и окружение для обучения политики и ее оценки почти всегда берутся из одного визуального источника. Если модель дообучают на симулированных данных и проверяют в той же симуляции, высокие результаты говорят лишь о том, что она запомнила сценарий, а не о способности обобщать.
Качество картинки в симуляции пока не дотягивает до реальных снимков. Подходы Real2sim пытаются решить эту проблему, воссоздавая фотореалистичную среду из реальных изображений. Но настройка каждой сцены занимает больше часа - для массового тестирования это непригодно.
Рисунок 1. Существующие симуляционные бенчмарки страдают от пересечения визуальных и целевых областей, низкой реалистичности и высоких затрат на создание сцен и задач.
Насыщение бенчмарков
Генерация задач - муторное дело. В большинстве бенчмарков набор задач фиксирован и редко обновляется. Это быстро приводит к насыщению: модели набирают максимум на статичных задачах, и становится невозможно понять, какая из них действительно лучше.
Когда все системы отчитываются об успешности выше 90% на одном и том же тесте, цифры теряют смысл.
Рисунок 2. Почти каждая статья о моделях приводит результаты на этом бенчмарке, но из-за насыщения извлечь осмысленные выводы почти невозможно.
Диагностический пробел
Есть и более глубокая проблема. Простой бинарный результат «успех/провал» не объясняет, почему робот ошибся. Его сбил цвет объекта? Формулировка команды? Сдвинутая камера?
Выполнил ли он задачу эффективно в соответствии с конкретной инструкцией? Без ответов на эти вопросы исследователям не за что зацепиться.
Рисунок 3. Пример эпизода оценки для задачи «Положи оранжевую мерную чашку и синюю мерную чашку за пределы тарелки» с политикой pi0.5.
Статистическая достоверность
Любой физический движок и политика подвержены случайности. Один показатель успешности на N прогонах почти ничего не говорит о том, насколько можно доверять реальной производительности политики. Если политика срабатывает девять раз из десяти, можно ли считать ее «90-процентной»?
Чтобы разобраться, обратимся к методу Клоппера - Пирсона. Это «точный» способ построения биномиального доверительного интервала вокруг показателя успешности.
Рисунок 4. Интервал Клоппера - Пирсона - метод для оценки границ биномиального показателя успешности.
Вот пример: при наблюдаемой успешности 90% и всего 70 прогонах 95-процентный доверительный интервал охватывает целых 15,4 процентных пункта (от 80,5% до 95,9%). При 1030 прогонах погрешность сужается до ±2 процентных пункта (от 88,0% до 91,8%). Большинство опубликованных бенчмарков не проводят достаточного числа прогонов, чтобы добиться статистической значимости.
Рисунок 5. 95-процентный интервал Клоппера - Пирсона для успешности 90%. Сужение доверительного интервала с 10 до 2 процентных пунктов требует примерно в 15 раз больше запусков (с 70 до 1030). | Источник: NVIDIA
NVIDIA представляет RoboLab
NVIDIA создала симуляционную бенчмарк-платформу под названием RoboLab, чтобы решить эти проблемы. RoboLab строится на трех принципах:
- Обеспечить оценку задач, не зависящую от конкретного робота, с предоставлением содержательных метрик.
- Обеспечить быстрое создание новых задач, чтобы избежать насыщения бенчмарка, с поддержкой агентных AI-рабочих процессов.
- Предоставить полный набор инструментов анализа, которые дают целостную картину того, насколько хорошо работает политика, когда она дает сбой и почему.
Рисунок 6. Бенчмарки должны адаптироваться к новым возможностям по мере развития области. | Источник: NVIDIA
Бенчмаркинг роботов в эпоху агентного ИИ
Рисунок 7. Трехэтапный процесс генерации сцены, задачи и окружения в RoboLab. | Источник: NVIDIA
RoboLab повторяет процедуру настройки в реальном мире: разместите объекты, добавьте языковую инструкцию и запустите политику. Имея библиотеку объектов, пользователи могут просто разместить их на сцене и указать языковую инструкцию - или даже три! - для задачи, причем весь процесс занимает всего несколько минут.
RoboLab также поставляется с агентскими навыками, которые кодирующий агент может использовать для генерации новых задач прямо в рабочем процессе пользователя. Такая эффективность делает бенчмарк устойчивым к будущим изменениям: по мере совершенствования моделей можно добавлять новые задачи и удалять устаревшие.
Приводите своего робота
Создание политики робота-генералиста требует решения длинного хвоста конкретных задач, и ни одна команда не имеет обильных данных по каждому типу воплощения. У одной лаборатории могут быть тысячи часов работы с манипулятором Franka, но почти никаких данных по человекоподобному роботу, или наоборот.
Бенчмарк, привязанный к одному конкретному роботу, загоняет каждого пользователя в ту же самую пробел в данных. Задачи RoboLab не зависят ни от робота, ни от политики. Это означает, что один и тот же набор задач можно оценивать независимо от типа робота или архитектуры политики.
Пользователи вольны делать собственные проектные решения; RoboLab просто компилирует одни и те же сцены и задачи для того робота, которого они привели. В будущем количество вариантов воплощения роботов будет расти; становится менее важно, какой робот использовался для генерации данных, - важно лишь, что он решил задачу.
Задачи, нацеленные на конкретные способности
Полезный бенчмарк должен изолировать отдельные способности, а не просто измерять, выполнил ли робот задачу. Мы заметили, что манипуляции общего назначения опираются как минимум на три отдельные компетенции:
- Визуальная компетенция проверяет, способна ли политика распознавать и действовать на основе перцептивных атрибутов, таких как цвет, размер и семантическая категория.
- Процедурная компетенция оценивает рассуждения, основанные на действиях: складывание объектов, их переориентация или вывод о том, как взаимодействовать с инструментом.
- Реляционная компетенция исследует пространственную и языковую логику, включая союзы, счет и относительные положения.
Разрабатывая задачи, каждая из которых нацелена на одну или несколько конкретных способностей, мы можем обеспечить широкий охват всего пространства навыков. В RoboLab-120, нашем первоначальном бенчмарке из 120 отобранных вручную задач, каждая задача помечена несколькими требуемыми способностями.
| Компетенция | Что проверяется | Пример задачи |
|---|---|---|
| Визуальная | Цвет, размер, семантическое распознавание | «Положи маленькую красную чашку в контейнер» |
| Процедурная | Складывание, переориентация, аффордансы | «Поставь все кружки дном вниз и сложи красные на полку» |
| Реляционная | Пространственная логика, счет, союзы | «Возьми апельсин или лайм и положи его в миску» |
Таблица 1. Компетентность - это способность политики выполнять задачи в определенной области.
Оценка роботизированных политик
Какие метрики показывают, что политика робота хороша? Один лишь процент успеха почти ничего не говорит о том, как робот выполнил задачу - только пересек ли он финишную черту. Политика, которая схватила нужный объект, но уронила его раньше времени, может быть зафиксирована как провал.
Чтобы это исправить, RoboLab использует три дополнительных инструмента оценки:
- Баллы за этапы задачи: Частичные баллы начисляются за выполнение подзадач в рамках многошаговой инструкции.
- Качество траектории: Измерение эффективности движения через длину пути и SPARC - спектральную длину дуги.
- Скорость выполнения: Измеряет скорость конечного эффектора.
Как NVIDIA выявляет сбои в работе роботов
Понимать, что задача провалилась, - это полдела. Гораздо важнее знать, почему именно это произошло. RoboLab не ограничивается стандартными метриками: он копает глубже, выясняя, на каком этапе и из-за чего всё пошло не так.
Система автоматически фиксирует события сбоев: захват не того предмета, падение объекта, столкновение схвата. Она указывает точное место, где выполнение задачи сошло с рельсов.
Рисунок 8. Три отдельных сбоя во время выполнения задачи «Убрать все пластиковые бутылки в контейнер» - при том, что в целом она была завершена успешно. | Источник: NVIDIA
Чтобы разобрать такие случаи, в RoboLab есть встроенная панель. Она показывает события прямо во время эпизода, так что пользователь может мгновенно перейти к кадру, где случился сбой. Диагностика перестаёт быть гаданием задним числом - она превращается в отладчик поведения робота.
Рисунок 9. Встроенная панель RoboLab для просмотра событий в эпизодах. | Источник: NVIDIA
Насколько устойчива ваша политика к усложнению?
В реальном мире не бывает чистых лабораторных условий. Инструкции формулируют по-разному, сцены завалены хламом, а задачи растягиваются на десятки шагов. Чтобы понять, действительно ли политика робота надёжна, нужно проверить её на трёх фронтах: сложность языка, сложность сцены и длина задачи.
Сложность языка
Робот, который понимает только чётко сформулированные команды, в реальности бесполезен - люди говорят неоднозначно и по-разному. Тестирование на множестве формулировок показывает, насколько политика зависит от точной фразы, а не от реального понимания задачи.
RoboLab позволяет задать несколько вариантов инструкций и выбирать их во время выполнения. В своём первом бенчмарке NVIDIA использовала три варианта: расплывчатый, стандартный и конкретный. Выяснилось: расплывчатые инструкции стабильно ведут к сбоям.
Рисунок 10. Демонстрация того, как политика спотыкается на расплывчатых командах. | Источник: NVIDIA
Сложность сцены
Реальные помещения редко бывают такими же аккуратными, как тренировочные сцены. Тут и отвлекающие предметы, и беспорядок, и визуальный шум, который сбивает распознавание. Оценка производительности по мере нарастания сложности сцены показывает, способна ли политика выделить нужную цель среди помех.
Сложность задачи: короткий и длинный горизонт
Многие реальные задачи - это не одно действие, а цепочка зависимых подзадач. Маленькая ошибка в начале может разрастись в полный провал. Измеряя, как падает точность при удлинении цепочки, можно понять, насколько политика сохраняет аккуратность на длинных сериях рассуждений.
Разработчики задач могут прописать ожидаемую последовательность подзадач в RoboLab и отслеживать, как политика по ней продвигается. Выяснилось: большинство политик плохо справляются с длинными задачами - ни одна не смогла выполнить больше четырёх сложных подзадач подряд.
Насколько чувствительна ваша политика к вариациям?
Рисунок 11. Вариации сцены, которые могут повлиять на производительность. | Источник: NVIDIA
NVIDIA внедрила анализ чувствительности. Он позволяет выявить переменные, влияющие на производительность, без изолированного тестирования. Некоторые изменения в окружении могут снижать производительность. Но в масштабе проверять каждую переменную по отдельности - задача практически невыполнимая.
Вместо этого мы запускаем оценку сразу для множества вариаций сцены и применяем анализ чувствительности. Он определяет, какие параметры среды сильнее всего связаны с успехом или неудачей. Так интуитивные догадки превращаются в количественные выводы.
NVIDIA оценила апостериорное распределение с помощью нейронного апостериорного оценивания (NPE). Это позволило компании точно определить, какая именно переменная окружения вызывает падение производительности.
Почему это важно
Бенчмаркинг в робототехнике всё ещё сильно отстаёт от остальных областей AI-исследований. Без единой отраслевой платформы для тестирования трудно измерить прогресс. По мере того как модели становятся всё более мощными, одних показателей успешности недостаточно.
Нужна оценка, которая развивается так же быстро, как и сами модели. Бенчмарки, которые расширяются, а не насыщаются. Метрики, которые диагностируют, а не просто подсчитывают баллы. Анализ, который подсказывает исследователю не только то, насколько хорошо работает модель, но и как её улучшить. RoboLab предлагает масштабируемый путь к диагностической оценке реаль
