Microsoft Research представила GroundedPlanBench — инструмент для оценки того, как визуально-языковые модели справляются с долгосрочным планированием физических действий роботов.
6 мин
Microsoft Research обратила внимание на одну из главных проблем современной робототехники — разрыв между пониманием задачи и ее физическим выполнением. Исследователи представили GroundedPlanBench. Это платформа для оценки того, как визуально-языковые модели (VLM) справляются с долгосрочным планированием задач для роботов-манипуляторов с учетом точной пространственной привязки. Это важный шаг к созданию более автономных и надежных роботизированных систем.
Сегодня визуально-языковые модели отлично описывают изображения и генерируют пошаговые инструкции. Однако, когда дело доходит до управления роботами, разработчики обычно используют уязвимый двухэтапный подход.
Figure 1: This figure shows some failure cases for a vision-language robot task planner. Given the instruction “discard all paper cups to bin,” the planner produces an action sequence with ambiguous cup references and a hallucinated step, “place inside the cabinet.” Cropped object views and arrows to a language-based spatial grounding module show that ambiguous grounding can lead to non-executable plans.
Сначала модель анализирует сцену через камеры и пишет текстовый план, например: «взять синюю деталь и поместить ее в контейнер». Затем отдельная программная система пытается перевести этот естественный язык в конкретные координаты и команды для моторов. Проблема заключается в том, что на этапе этого перевода теряется критически важный контекст. Текст редко содержит точные физические параметры, из-за чего система часто дает сбой, не понимая, как именно захватить объект или где именно находится препятствие.
GroundedPlanBench фокусируется на двух сложных аспектах работы алгоритмов: пространственной привязке (spatial grounding) и долгосрочном планировании (long-horizon planning).
Пространственная привязка означает, что искусственный интеллект должен не просто идентифицировать объект на картинке, но и понимать его положение в трехмерном пространстве, оценивать габариты и доступность для захвата. Долгосрочное планирование требует удержания контекста на протяжении множества последовательных действий. При выполнении сложных задач ошибка на первом этапе делает невозможным выполнение десятого. Бенчмарк позволяет исследователям точно измерить, насколько хорошо модели справляются с этими вызовами, минуя ненадежные промежуточные переводы текста в код.
Figure 2: This figure shows two examples comparing explicit and implicit task instructions: one about placing bottles and a cup into a sink, and another about placing eggs and vegetables into a silver bowl. The figure shows that implicit instructions summarize explicit object lists into higher-level descriptions. This figure shows two examples comparing explicit and implicit task instructions: one about placing bottles and a cup into a sink, and another about placing eggs and vegetables into a silver bowl. The figure shows that implicit instructions summarize explicit object lists into higher-level descriptions.
Появление такого инструмента оценки указывает на важный сдвиг в индустрии. Разработчики осознали, что разделение логики (планирования) и моторики (исполнения) является узким местом для сложных задач.
Мы наблюдаем переход к воплощенному искусственному интеллекту (embodied AI), который способен напрямую связывать визуальные данные с физическими действиями. Модели нового поколения должны будут выдавать не просто описательный текст, а готовые к выполнению пространственные инструкции. Это требует принципиально иного подхода к обучению алгоритмов, где зрение, язык и физика пространства объединены в едином процессе.
В ближайшие годы индустрия, вероятнее всего, начнет отказываться от фрагментированных архитектур в робототехнике. Инструменты вроде GroundedPlanBench задают новый стандарт качества и вектор развития для создателей фундаментальных моделей.
По мере того как алгоритмы научатся лучше понимать геометрию пространства и планировать действия на много шагов вперед, роботы-манипуляторы станут значительно более автономными. Это ускорит их внедрение за пределами строго контролируемых заводских линий — на динамичных складах, в лабораториях и, со временем, в повседневной среде обитания человека.
Figure 3: This figure shows an overview of the V2GP framework. Robot demonstration videos are segmented into temporal sub-actions, matched with active objects, spatially grounded with grasp boxes and placement points, and converted into unified training samples containing language instructions and structured action plans. This figure shows an overview of the V2GP framework. Robot demonstration videos are segmented into temporal sub-actions, matched with active objects, spatially grounded with grasp boxes and placement points, and converted into unified training samples containing language instructions and structured action plans.
Figure 4: This figure shows a comparison of planning methods for the instruction “Put four napkins on the couch.” Several baseline methods ground actions to the wrong objects, while the grounded V2GP method correctly identifies the napkins and their placement locations.
Table 1: This table reports results of evaluation on GroundedPlanBench, comparing proprietary and open-source VLMs on task success rate and action recall for explicit and implicit instructions of varying lengths. V2GP achieves the best overall performance, with consistent gains over decoupled planning plus spatial grounding baselines.
On the left is a simple drawing of the lungs. The drawing shows the borders of the left and right lung as well as the trachea and the left and right main stem bronchi. The text under the drawing reads: Original image. To the right of the drawing are the 3 additional inputs of RadEdit. They are arranged vertically. On top there is an example editing prompt. It reads "Consolidation". Below there is the same drawing of the lung again but this time the left lung is shaded blue. The text reads: Edit mask according to prompt. Lastly, on the bottom, there is the same drawing of the lung but this time the right lung is shaded red. The text reads: "Do not edit mask". On the right of the 3 additional inputs there is a box saying “RadEdit”. Finally, on the right of the figure, there is the drawing of the lung again. The upper part of the left lung is shaded grey. The text reads: Edited image. Between all the elements, the drawing of the lung, the 3 additional inputs, the box that says “RadEdit”, and the edited image, there are arrows pointing to the next element from left to right.
V2GP framework | three white icons on a blue to green gradient background | first icon is three concentric rings with a square box around it, second icon is a list of three items | third icon is a tool
Изображение из источника
Portrait of Yong Jae Lee
AsgardBench | three whit icons on a blue to purple gradient background | first icon shows a laptop screen with a eye in the upper right corner, second icon shows relational nodes | third icon is a security shield with a checkmark
Традиционный двухэтапный подход к управлению роботами через генерацию текста устарел. Будущее за моделями, способными одновременно понимать задачу и физическое пространство напрямую.
Главная проблема современных роботов-манипуляторов кроется не в механике, а в «трудностях перевода» между логикой языковой модели и физическими координатами реального мира.
