NVIDIA автоматизирует разработку физического ИИ с помощью новых агентных навыков и Cosmos 3

На конференции CVPR NVIDIA представила новые агентные навыки для физического ИИ, работающие на базе мультимодальной модели Cosmos 3. Эти инструменты призваны ускорить разработку автономных транспортных средств, робототехники и систем компьютерного зрения.

Главная проблема современных исследований в области физического ИИ заключается не в создании более мощных моделей, а в построении целостного рабочего процесса. Реконструкция реальных сцен, генерация редких сценариев, обучение политик поведения и оценка результатов сегодня фрагментированы по разным инструментам. Это замедляет темпы экспериментов. NVIDIA предлагает решить эту проблему, объединив возможности Cosmos 3 со своими библиотеками и платформами симуляции.

Исторически создание надежных автономных систем упиралось в проблему «длинного хвоста». Для беспилотных автомобилей это редкие дорожные ситуации, необычная геометрия улиц или резкие изменения освещения. Для систем промышленного зрения — редкие дефекты на производстве. Собрать достаточное количество таких данных в реальном мире практически невозможно, но они критически важны для обучения надежных систем.

Для разработчиков автономного транспорта NVIDIA предложила навыки нейронной реконструкции (Neural Reconstruction). Они позволяют ИИ-агентам превращать данные, собранные датчиками автомобилей, в редактируемые трехмерные сцены для симуляции. Платформа AlpaGym масштабирует этот процесс на тысячи графических процессоров (GPU) для обучения с подкреплением, а генеративная модель OmniDreams добавляет фотореалистичный рендеринг, который в реальном времени реагирует на действия алгоритма. Кроме того, компания открыла доступ к Alpamayo 2 Super — модели с 32 миллиардами параметров, предназначенной для планирования и действий автономного транспорта уровня L4.