Система SceneSmith от MIT: генерация виртуальных сред для обучения роботов с помощью ИИ-агентов
Исследователи из MIT CSAIL разработали систему SceneSmith, которая использует трех ИИ-агентов для автоматического создания реалистичных 3D-сцен. Это решает проблему нехватки данных для обучения роботов.
Обучение роботов выполнению повседневных задач в реальном мире — это медленный, дорогой и трудоемкий процесс. Чтобы машина научилась уверенно ставить чашку в раковину или перемещать предметы, ей требуются тысячи попыток в различных условиях. Исследователи из Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (MIT CSAIL) совместно с Toyota Research Institute предложили элегантное решение этой проблемы.
Они разработали систему SceneSmith, которая автоматизирует создание сложных и реалистичных 3D-сред для симуляции. Вместо того чтобы вручную моделировать каждую комнату, инженеры могут просто описать желаемую сцену текстом, а всю работу по ее созданию возьмут на себя ИИ-агенты.
Главным препятствием в развитии бытовой робототехники всегда был дефицит качественных данных. Использование симуляторов долгое время казалось логичным выходом. Физические движки за последние годы сделали огромный шаг вперед, однако создание самого контента — разнообразных, детализированных виртуальных комнат, которые отражают сложность реального мира, — оставалось узким местом. Предыдущие методы генерации сцен часто выдавали пустые или неестественные интерьеры, в которых роботы не могли получить релевантный опыт.
A spinning view of a 3D restaurant, including four tables bearing massive stacks of dimsum dishes, and shelves with board games and soda cans against one virtual wall.
SceneSmith решает эту задачу с помощью мультиагентного подхода на базе передовых визуально-языковых моделей (VLM), в частности GPT-5.2. Система использует трех специализированных агентов, каждый из которых выполняет свою роль.
Сначала агент-«дизайнер» генерирует базовую планировку и расставляет элементы сцены. Затем в дело вступает агент-«критик», который оценивает реалистичность и практичность созданного пространства — например, он может указать, что ванне не место посреди гостиной. Наконец, агент-«оркестратор» управляет этим диалогом и принимает окончательное решение о готовности сцены. Процесс повторяется итеративно: от возведения стен до добавления мебели и мелких предметов, с которыми робот сможет взаимодействовать.
Результаты работы системы впечатляют. Сгенерированные пространства содержат до шести раз больше объектов по сравнению с предыдущими методами. Кроме того, объекты обладают физическими свойствами, такими как масса, трение и инерция, а также могут быть артикулированными (например, дверцы шкафов открываются и закрываются). Это позволяет напрямую загружать сцены в физические симуляторы.
Vincent Sitzmann and Boyuan Chen place a toy apple in front of a robotic arm attached to a table. A toy orange is nearby, placed on top of a blue circular mat, near light and dark green mats.
Развитие подобных систем знаменует важный сдвиг в робототехнике: переход от ручного сбора данных к автоматизированной генерации синтетических сред. Тесты показали, что роботы, обученные исключительно на реальных данных, способны успешно выполнять задачи в виртуальных мирах SceneSmith. Это доказывает высокую степень реалистичности сгенерированных сцен и минимальный разрыв между симуляцией и реальностью (reality gap).
Возможность массово создавать физически корректные тренировочные площадки по текстовому запросу радикально ускорит цикл разработки и тестирования алгоритмов управления. Инженеры смогут выявлять ошибки в поведении роботов еще до того, как загрузят код в реальное железо.
На данный момент главным ограничением системы является скорость работы: создание одной детализированной сцены может занимать несколько часов из-за тщательной проверки каждого объекта агентами. Однако с ростом вычислительных мощностей этот процесс неизбежно ускорится. В будущем команда планирует расширить библиотеку объектов, добавив деформируемые материалы, такие как губки или ткани. В конечном итоге такие генеративные среды станут фундаментом, на котором будут обучаться универсальные домашние и промышленные роботы завтрашнего дня.
In between two mountains, an illustrated drone is shown in various positions including a stable position at center. A digital gauge labeled "stability" has all 7 bars filled
Animation of a robot, in the form of an arm on a wheeled box, working in a kitchen, seen from above
Collage of 3 images: A researcher wears a virtual reality headset next to computer screens showing object simulations. A 3 by 5 grid shows simulations of how robots would handle the objects. A photo shows 2 actual robotic arms manipulating a cube.
Arthur Bahr headshot
Six people pose standing in front of a wall-sized digital world map. Two computer screens dominate the foreground. One is blank and the other displays “BSU CYBER"
Swirling light
Sparkles, checkered patterns, and numbers in the background and the text "Safe" with a checkmark at the bottom right corner
Electrically-excited quantum dots lit up red and blue
TL;DR
Главное
Система SceneSmith автоматизирует создание сложных 3D-сред для обучения роботов с помощью ИИ-агентов, решая проблему нехватки тренировочных данных.
Ключевые факты
- /Система использует трех агентов (дизайнер, критик, оркестратор) на базе модели GPT-5.2.
- /Сгенерированные сцены содержат в 6 раз больше объектов, чем аналогичные решения.
- /Объекты в симуляции обладают физическими свойствами и готовы к взаимодействию.
- /Создано уже более 1300 уникальных тренировочных сцен.
Инсайт
Автоматизированная критика внутри мультиагентной системы позволяет ИИ самостоятельно исправлять логические ошибки в дизайне помещений, создавая данные, пригодные для реальных физических движков.
