На конференции ICRA компания NVIDIA представила исследования, доказывающие, что перенос навыков из симуляции в реальность становится фундаментом для создания по-настоящему автономных роботов.
3 мин
Робототехника вступает в новую фазу. Индустрия постепенно отходит от контролируемых демонстраций и жестко запрограммированных сценариев, двигаясь в сторону надежной автономии в реальном мире. На Международной конференции по робототехнике и автоматизации (ICRA) компания NVIDIA представила ряд исследований, которые показывают, как перенос навыков из симуляции в реальность (sim-to-real) становится основой для этого перехода.
Исторически главной проблемой робототехники был так называемый «разрыв с реальностью» (reality gap). Робот, идеально выполняющий задачу в виртуальной среде, часто терпит неудачу в физическом мире. Датчики выдают шумные данные, поверхности имеют микроскопические неровности, а освещение постоянно меняется. Симуляторы не могут просчитать физику до каждого атома. Новые работы исследователей предлагают элегантные решения этой проблемы, охватывая весь спектр задач: от навигации до сложной сборки деталей.
Одним из ключевых направлений стала координация и планирование. Традиционное программное обеспечение управляет роботизированными манипуляторами последовательно. Фреймворк ScheduleStream переносит эти вычисления на графические процессоры (GPU), позволяя нескольким рукам планировать движения и работать параллельно. Это дает трехкратное ускорение в сценариях с множеством манипуляторов.
Изображение из источника
В вопросах навигации разработчики столкнулись с тем, что алгоритм, обученный для одного робота, перестает работать при переносе на устройство с другой конструкцией. Система COMPASS решает эту задачу, создавая базовые навыки с помощью имитационного обучения, а затем адаптируя их под конкретные формы роботов внутри симулятора NVIDIA Isaac Lab. Это позволило достичь 80-процентной успешности в реальных испытаниях без использования данных из физического мира на этапе обучения.
Наибольшие сложности всегда возникают на последних сантиметрах перед контактом с объектом. Система Grasp-MPC отказывается от жесткого планирования захвата в пользу адаптивного вычисления. Робот непрерывно корректирует свои движения по мере приближения к предмету, подобно тому, как человек берет вещь, ориентируясь на осязание и зрение в реальном времени. Это повысило успешность захвата новых объектов в захламленной среде с 41% до 75%.
Для задач, требующих высокой точности, таких как сборка механизмов, исследователи разработали метод SPARR. Он разделяет процесс на два этапа. Сначала робот изучает общую стратегию в симуляции. Затем, уже на реальном оборудовании, второй слой нейросети учится компенсировать ошибки симулятора, используя только собственную камеру робота, без вмешательства человека. Это снижает время цикла на 30% и значительно повышает надежность.
Hermes Unlocks Self-Improving AI Agents, Powered by NVIDIA RTX PCs and DGX Spark
Особое внимание уделено интеграции визуально-языковых моделей (VLM). В реальных условиях камеры роботов фиксируют огромное количество визуального шума. Конвейер PEEK позволяет модели прочитать текстовую инструкцию и сфокусировать «внимание» робота только на нужных объектах, отфильтровывая все остальное. Для алгоритмов, обученных исключительно в симуляции, добавление PEEK дало 41-кратное улучшение точности в реальном мире.
Эти исследования показывают фундаментальный сдвиг в подходах к физическому искусственному интеллекту. Разработчики больше не пытаются создать идеальный симулятор. Вместо этого они создают системы, которые понимают ограничения виртуальной среды и умеют адаптироваться к физической реальности на лету.
В сочетании с открытыми наборами данных, такими как NVIDIA Physical AI Dataset, который уже преодолел отметку в 15 миллионов загрузок, индустрия получает мощную инфраструктуру. В ближайшие годы мы, вероятно, увидим значительное сокращение времени между разработкой алгоритма в лаборатории и его успешным внедрением на реальном производстве или в быту.
NVIDIA and ServiceNow Partner on New Autonomous AI Agents for Enterprises
Nemotron Labs: What OpenClaw Agents Mean for Every Organization
Перенос навыков из симуляции в реальность перестает быть узким местом робототехники: новые алгоритмы позволяют роботам самостоятельно корректировать ошибки виртуальной среды при столкновении с физическим миром.
Вместо того чтобы пытаться создать безупречный физический движок, исследователи добились большего успеха, научив роботов предполагать, что симулятор ошибается, и компенсировать эти ошибки в реальном времени.
