AgentHands: создание интерактивных жестов рук для пространственно ориентированных агентов в XR

Google Research разработала AgentHands — инновационную систему, предназначенную для генерации реалистичных и интерактивных жестов рук агентов в пространственно ориентированных XR-сценах. Эта технология позволяет виртуальным агентам выполнять жесты, которые соответствуют контексту и взаимодействию с пользователем, что повышает уровень погружения и естественности коммуникации.

AgentHands использует модели машинного обучения для анализа окружающей среды и определения наиболее подходящих жестов в реальном времени. В ходе исследований было проведено оценивание системы в различных сценариях, включая обучение и взаимодействие в виртуальных пространствах. Результаты показывают, что система способна генерировать жесты, которые выглядят естественно и соответствуют ожиданиям пользователей.

Несмотря на достижения, технология все еще находится в стадии исследований, и есть ограничения, связанные с точностью и разнообразием жестов. В будущем планируется расширение возможностей системы и интеграция с более сложными сценариями взаимодействия, что может значительно улучшить пользовательский опыт в XR.

Данная разработка представляет интерес для разработчиков виртуальных сред, исследователей в области взаимодействия человека и компьютера, а также компаний, работающих над расширенной реальностью и виртуальной реальностью.