XPENG показала, как её гуманоид IRON общается с людьми: следит за говорящим, переключает языки без отдельной команды и узнаёт человека даже после того, как тот переоделся и пересел.
В ролике на YouTube-канале компании IRON провёл «продажные» беседы с тремя тестировщиками на китайском, английском и немецком, поворачивая голову, корпус и пояс в сторону того, кто говорит.
Демонстрация компании, а не проверка
Съёмка в студии - это демонстрация самой компании, а не независимая проверка. Зато она подробно показывает, из чего складывается восприятие, вычисления и память робота, которого XPENG собирается ставить на работу с клиентами.
В компании говорят, что одна из первых должностей IRON - консультант в магазине. Правда, дату выхода на «смену» там не назвали.
Слежение за говорящим
Чтобы понимать, откуда идёт речь, XPENG использует массив из девяти микрофонов - он оценивает направление звука. Дальше мультимодальная система по движению губ определяет, кто именно говорит, а политика слежения координирует голову, пояс и ноги робота.
На видео IRON слегка поворачивает голову, заметнее - пояс, а иногда разворачивается всем корпусом, когда тестировщики меняют положение. В некоторых случаях он делает шаг в сторону говорящего, а не крутится на месте.
Главная задача демонстрации - сделать позу робота менее резкой во время разговора. Для гуманоида, который работает рядом с покупателями или коллегами, это вполне практичная забота.
XPENG объясняет такое поведение слаженной работой акустики, компьютерного зрения и управления движением. Вот только точность слежения, задержку отклика и поведение при фоновом шуме или в большой группе в ролике не измеряют.
Многоязычные ответы и профили личности
IRON отвечает на языке каждого тестировщика, включая переключение между китайским, английским и немецким. По словам XPENG, здесь работают многоязычная базовая модель, дообучение и сбалансированный многоязычный датасет. Никаких дополнительных голосовых команд для смены языка в демонстрации не звучало.
Тест на узнавание оказался сложнее. После того как трое участников переоделись и поменялись местами, IRON по-прежнему связывал каждого с его прежними предпочтениями по машине. А одного тестировщика, который представился чужим именем, робот поправил.
XPENG утверждает, что IRON создаёт цифровой профиль памяти, объединяя черты лица, отпечаток голоса и содержание разговоров, а потом обновляет его при следующих встречах. Но компания не объяснила, сколько такие профили хранятся, что нужно для регистрации и как ими будут управлять при публичном развёртывании.
Три чипа Turing на борту
По словам XPENG, в IRON стоят три локальных чипа Turing собственной разработки с суммарной эффективной производительностью 2 250 TOPS. Система может обращаться к локальной базе знаний или искать информацию в сети - так, по задумке, робот даёт рекомендации по товарам с учётом прошлых бесед.
Демонстрацию построили вокруг продажи автомобилей: IRON вспоминал размер семьи, увлечение кемпингом и проблемы с парковкой, а затем предлагал модели XPENG. Так заявленное применение становится непривычно конкретным.
Но клип не показывает, как весь этот стек отработает полный рабочий день, в забитом магазине и без заранее подготовленных участников и тем.