NVIDIA переносит обучение роботов из виртуальной среды в реальный мир

Робототехника вступает в новую фазу. Индустрия постепенно отходит от контролируемых демонстраций и жестко запрограммированных сценариев, двигаясь в сторону надежной автономии в реальном мире. На Международной конференции по робототехнике и автоматизации (ICRA) компания NVIDIA представила ряд исследований, которые показывают, как перенос навыков из симуляции в реальность (sim-to-real) становится основой для этого перехода.

Исторически главной проблемой робототехники был так называемый «разрыв с реальностью» (reality gap). Робот, идеально выполняющий задачу в виртуальной среде, часто терпит неудачу в физическом мире. Датчики выдают шумные данные, поверхности имеют микроскопические неровности, а освещение постоянно меняется. Симуляторы не могут просчитать физику до каждого атома. Новые работы исследователей предлагают элегантные решения этой проблемы, охватывая весь спектр задач: от навигации до сложной сборки деталей.

Одним из ключевых направлений стала координация и планирование. Традиционное программное обеспечение управляет роботизированными манипуляторами последовательно. Фреймворк ScheduleStream переносит эти вычисления на графические процессоры (GPU), позволяя нескольким рукам планировать движения и работать параллельно. Это дает трехкратное ускорение в сценариях с множеством манипуляторов.

В вопросах навигации разработчики столкнулись с тем, что алгоритм, обученный для одного робота, перестает работать при переносе на устройство с другой конструкцией. Система COMPASS решает эту задачу, создавая базовые навыки с помощью имитационного обучения, а затем адаптируя их под конкретные формы роботов внутри симулятора NVIDIA Isaac Lab. Это позволило достичь 80-процентной успешности в реальных испытаниях без использования данных из физического мира на этапе обучения.

Наибольшие сложности всегда возникают на последних сантиметрах перед контактом с объектом. Система Grasp-MPC отказывается от жесткого планирования захвата в пользу адаптивного вычисления. Робот непрерывно корректирует свои движения по мере приближения к предмету, подобно тому, как человек берет вещь, ориентируясь на осязание и зрение в реальном времени. Это повысило успешность захвата новых объектов в захламленной среде с 41% до 75%.