MindTopo выявляет способности VLM в пространственном мышлении

Microsoft Research представила MindTopo — новый бенчмарк для оценки топологического мышления в мультимодальных моделях ИИ. Этот инструмент позволяет определить, насколько модели способны распознавать и сохранять структурные топологические отношения, такие как связность, заборы, узлы и порядок элементов, как в статичных сценах, так и при взаимодействии с ними.

Тестирование показало, что современные модели лучше справляются с распознаванием топологических связей в статичных изображениях, чем с их поддержанием и манипуляциями в динамических сценариях. Основные ошибки возникают при планировании действий, когда модели теряют контроль над структурными связями, что особенно важно для применения в робототехнике и интерактивных системах.

MindTopo организует задачи по пяти категориям: непрерывность, разделение, порядок, ограждение и узлы. Каждая категория оценивается на двух уровнях: в reasoning — при анализе изображений, и в planning — при взаимодействии с виртуальной средой. В задачах моделям предлагается определить, связаны ли точки, находятся ли объекты внутри ограждения или есть ли узел на верёвке, а также выбрать действия для сохранения или изменения этих отношений.

Результаты показали, что модели демонстрируют значительный разрыв между способностью распознавать топологию в статике и поддерживать её при взаимодействии. В большинстве случаев ошибки связаны либо с восприятием, либо с планированием действий, что указывает на необходимость развития моделей, способных хранить и предсказывать топологические свойства.

Исследование подчеркивает важность создания систем, которые могут сохранять структурные связи в процессе действий, что критично для роботов, ассистентов и других интерактивных приложений. В будущем возможно использование явных топологических состояний или моделей мира, сохраняющих эти свойства по мере изменения сцены.