NVIDIA Cosmos-H-Dreams: симулятор хирургического робота в реальном времени на одной видеокарте

NVIDIA представила Cosmos-H-Dreams — генеративный симулятор для хирургической робототехники, который работает в реальном времени. Модель получает первый кадр операционного поля и поток команд робота и сразу дорисовывает, что произойдёт с инструментами и тканями. Управлять сценой может человек или обученная политика, и всё это работает на одной видеокарте NVIDIA RTX PRO 6000.

Зачем это нужно

Хирургические роботы переходят от телеуправления к политикам vision-language-action, но обучать и проверять их трудно. Реальные платформы дорогие, эксперименты медленно воспроизводятся, а ошибки портят инструменты и биоматериал. Классическим симуляторам тяжело даются мягкие ткани, блики, нити, иглы, дым и перекрытия.

Мировые модели учат визуальную динамику прямо по синхронизированному видео и кинематике робота. Предшественник, Cosmos-H-Surgical-Simulator, построен на Cosmos-Predict2.5-2B и дообучен на датасете Open-H-Embodiment. Он генерирует видео по заранее заданной траектории примерно на 10 кадрах в секунду — этого хватает для офлайн-оценки, но не для интерактивной работы.

Как ускорили

Cosmos-H-Dreams специализировали на наложении швов с исследовательским роботом da Vinci Research Kit (dVRK) и дистиллировали в модель-ученика, которая генерирует сцену авторегрессионно, кадр за кадром. В обучение модели-учителя специально добавили неудачные попытки: уроненные иглы, промахи, неудачные узлы. Симулятор, который оценивает политики, должен показывать последствия плохих действий, а не только идеальные демонстрации.

Ученику хватает двух шагов денойзинга на кадр. Обслуживает его библиотека FlashDreams с потоковым KV-кешем, CUDA Graphs и компиляцией модели. В сумме это около 160 кадров в секунду вместо примерно 10.

Как с ним работать

Сценой можно управлять из браузера с клавиатуры, контроллерами Meta Quest через WebXR или подключить обученную политику в замкнутом цикле. Вместе с CMR Surgical и Cambridge Consultants симулятор интегрировали с консолью хирурга Versius. Для своих данных NVIDIA выложила пошаговый рецепт дообучения учителя и дистилляции.

Следующий шаг, по словам авторов, — оценивать не только картинку, но и физику: точность положения инструмента, стабильность на длинных прогонах, совпадение результатов политики в симуляторе и на реальном роботе. NVIDIA подчёркивает, что Cosmos-H-Dreams — платформа для исследований, а не диагностическая система и не контроллер реального хирургического робота.