Figure представила Helix 2.5 - политику управления гуманоидом, которая, по словам компании, справилась с застиланием кровати, складыванием полотенец и уборкой гостиной в 30 незнакомых домах в районе залива Сан-Франциско. Общий показатель успеха - 56%. Для сравнения: аналогичная политика, обученная без набора данных Index о поведении человека, показала всего 9%.
Что именно тестировали
Результат получен в режиме zero-shot, но с важной оговоркой. Дома, планировки и объекты манипуляции были незнакомыми, однако три задачи задавались через данные дообучения, собранные в других местах. Figure использовала фиксированный чекпоинт для каждой задачи во всех оценочных домах - без сбора локальных данных, обновления весов или адаптации после развёртывания.
Ключевые факты
- Оценка: 30 незнакомых домов в районе залива Сан-Франциско
- Задачи: застилание кровати, складывание полотенец, уборка гостиной
- Успех Helix 2.5: 56%
- Политика без предобучения на Index: 9%
- Всего попыток: 420, по данным Startup Fortune
Строгие критерии завершения вскрывают неравномерность
Figure не начисляла частичные баллы. Успешная уборка требовала, чтобы робот сложил все 13-15 игрушек в корзину. Для складывания полотенец нужно было сложить и уложить каждое полотенце. Для застилания кровати - чтобы обе подушки и углы одеяла оказались у изголовья, а само одеяло было разглажено.
По данным Startup Fortune, робот завершил 237 попыток из 420. Лучше всего давалось застилание кровати - 67%, или 94 из 140 попыток. Складывание полотенец - 62%, или 87 из 140. Уборка игрушек - 40%. Такой разброс говорит о том, что агрегированный результат не стоит читать как равномерную бытовую компетентность.
Оценочные объекты перед тестированием отделяли, утверждает Figure, и сверяли с набором данных спецификации задач через ИИ-модель с последующей проверкой человеком. Начальные конфигурации объектов различались между испытаниями. Тайм-ауты применялись к отдельным объектам или элементам задачи, а любой прогон, потребовавший вмешательства человека ради безопасности, записывался как неудача.
Физический охват здесь шире, чем тест на манипуляции с предметами на столе. Поведение сочетает ходьбу, корректировку стойки, двуручную манипуляцию и восприятие в обставленных помещениях. Figure также показала качественные примеры, как робот отступает, меняет позицию и обходит кровать, чтобы исправить ошибку. Правда, отдельного показателя восстановления после сбоев компания не привела.
Предобучение на Index даёт большую часть прироста
Самый чистый эксперимент сравнивает две политики, обученные на одинаковых данных по задачам. Архитектура, оптимизация, гиперпараметры и оценка оставались неизменными. Одна политика стартовала со случайных весов, другая - с весов Helix 2.5, предобученных на Index, наборе данных Figure о поведении человека.
Версия со случайной инициализацией добилась успеха в 9% zero-shot испытаний против 56% у политики с предобучением на Index. Figure утверждает, что ни одна отдельная оценочная задача не занимает больше 1,90% набора Index - попытка показать, что материал для предобучения был широким, а не сводился к трём протестированным делам.
Figure также сравнила Helix 2.5 с предыдущей политикой Helix 02 на той же задаче. Helix 2.5, как сообщается, сравнялась с ней по успешности, потратив вдвое меньше данных дообучения под конкретную задачу, и при этом работала в незнакомых домах. Абсолютный объём данных дообучения компания в статье не раскрыла, так что заявление остаётся относительным сравнением с одним репрезентативным поведением Helix 02.
Масштабирование измеряет предсказание, а не выполнение
Figure обучила четыре модели на вложенных подмножествах Index с восьмикратным ростом объёма предобучающих данных, сохраняя размер модели и последующее обучение неизменными. Потери при предсказании действий робота на отложенной выборке снижались с каждым удвоением. На меньших прогонах компания, по её словам, предсказала потери самой крупной модели с точностью до четырёх знаков после запятой - с ошибкой, равной 0,54% разброса по всему диапазону данных.
Это свидетельство предсказуемого переноса от человека к гуманоиду в протестированной конфигурации. Но метрика здесь - потери при предсказании действий, а не успех автономного выполнения бытовых задач. Установить ту же зависимость масштабирования по показателям завершения на большем числе поведений и сред было бы куда более суровым испытанием.
Figure говорит, что Index прибавляет примерно 35 минут человеческого опыта каждую секунду, а компания выделила 3,5 млрд долларов вычислений на обучение Helix. Helix 2.5 даёт этой стратегии масштабирования солидный внутренний бенчмарк. Зато 56% завершения оставляют изрядную дистанцию между обобщением и надёжной работой по дому.
