На конференции CVPR NVIDIA представила инструменты, объединяющие генерацию данных, симуляцию и обучение для ускорения создания роботов и автономных систем.
3 мин
На конференции CVPR NVIDIA представила новые агентные навыки для физического ИИ, работающие на базе мультимодальной модели Cosmos 3. Эти инструменты призваны ускорить разработку автономных транспортных средств, робототехники и систем компьютерного зрения.
Главная проблема современных исследований в области физического ИИ заключается не в создании более мощных моделей, а в построении целостного рабочего процесса. Реконструкция реальных сцен, генерация редких сценариев, обучение политик поведения и оценка результатов сегодня фрагментированы по разным инструментам. Это замедляет темпы экспериментов. NVIDIA предлагает решить эту проблему, объединив возможности Cosmos 3 со своими библиотеками и платформами симуляции.
NVIDIA GTC Taipei at COMPUTEX: Live Updates on What’s Next in AI
Исторически создание надежных автономных систем упиралось в проблему «длинного хвоста». Для беспилотных автомобилей это редкие дорожные ситуации, необычная геометрия улиц или резкие изменения освещения. Для систем промышленного зрения — редкие дефекты на производстве. Собрать достаточное количество таких данных в реальном мире практически невозможно, но они критически важны для обучения надежных систем.
Для разработчиков автономного транспорта NVIDIA предложила навыки нейронной реконструкции (Neural Reconstruction). Они позволяют ИИ-агентам превращать данные, собранные датчиками автомобилей, в редактируемые трехмерные сцены для симуляции. Платформа AlpaGym масштабирует этот процесс на тысячи графических процессоров (GPU) для обучения с подкреплением, а генеративная модель OmniDreams добавляет фотореалистичный рендеринг, который в реальном времени реагирует на действия алгоритма. Кроме того, компания открыла доступ к Alpamayo 2 Super — модели с 32 миллиардами параметров, предназначенной для планирования и действий автономного транспорта уровня L4.
В сфере компьютерного зрения новые навыки платформы Metropolis помогают генерировать синтетические визуальные сценарии. Например, навык Defect Image Generation позволяет накладывать реалистичные редкие дефекты на изображения различных поверхностей. Это решает проблему нехватки данных при обучении систем визуального контроля качества на производстве.
Vera Arrives: NVIDIA’s First CPU Built for Agents Lands at Top AI Labs
Для робототехники ключевым фактором является итеративность. Интеграция новых агентных навыков с платформами Isaac Sim и Isaac Lab позволяет автоматизировать подготовку сцен, запуск симуляций и сбор данных. Агенты берут на себя рутинную работу по настройке сред для обучения с подкреплением и переносу навыков из симуляции в реальный мир (sim-to-real). Для медицинской сферы был представлен Cosmos-H-Surgical-Simulator, который генерирует реалистичные данные хирургических операций, снижая зависимость от запрограммированных вручную физических моделей.
Инициатива NVIDIA выходит за рамки программного обеспечения. Компания активно инвестирует в открытую исследовательскую инфраструктуру. Набор данных NVIDIA Physical AI уже превысил 15 миллионов загрузок на платформе Hugging Face. Новые релизы включают датасет GRAIL с 50 часами взаимодействия гуманоидных роботов с объектами, а также синтетические видеоданные, использованные для обучения Cosmos 3.
Переход от ручной настройки сред к автоматизированным пайплайнам на базе ИИ-агентов означает важный сдвиг в индустрии. Предоставляя эти инструменты в открытый доступ через GitHub и платформу NVIDIA Brev, компания снижает порог входа в разработку сложных физических систем. Это позволит исследовательским лабораториям и компаниям быстрее проходить цикл от идеи до работающего прототипа, постепенно стирая границу между виртуальными испытаниями и поведением систем в реальном мире.
‘Your Career Starts at the Beginning of the AI Revolution,’ NVIDIA CEO Tells Graduates
NVIDIA выпустила набор агентных навыков на базе модели Cosmos 3, которые автоматизируют рутинные процессы создания симуляций, генерации данных и обучения для робототехники и беспилотников.
Главным барьером в развитии физического ИИ сейчас является не архитектура нейросетей, а фрагментированность инструментов для тестирования и симуляции, которую NVIDIA стремится стандартизировать.
