NVIDIA расширила платформу Cosmos 3 моделями для интерактивной симуляции миров

Суть

Компания NVIDIA добавила четыре новые контрольные точки (checkpoints) с открытыми весами в семейство моделей Cosmos 3. Эти решения предназначены для создания интерактивных симуляций физического мира и генерации сцен с нескольких датчиков и ракурсов. Инструменты призваны помочь исследователям в разработке систем автономного вождения и обучении робототехники.

Контекст

Разработчикам робототехники и автономных транспортных средств требуются виртуальные среды, способные адекватно реагировать на меняющиеся сцены и ракурсы. Для беспилотных автомобилей критически важно, чтобы внешний вид объектов совпадал с их геометрией, а визуальные наблюдения были синхронизированы с трехмерным восприятием пространства.

Доступность открытых базовых моделей дает индустрии общую отправную точку. Это позволяет исследователям адаптировать системы под свои задачи, сравнивать различные методы и совместно улучшать технологии симуляции.

Детали

Все четыре представленные модели являются примерами Cosmos 3 Nano, прошли этап дообучения (post-training) и содержат по 16 млрд обучаемых параметров. Они распространяются на условиях лицензии OpenMDW1.1, которая допускает как коммерческое, так и некоммерческое использование.

Также по темеВыпуск GPT-6 Cyber: новая модель OpenAI для поиска уязвимостей и защиты систем

В состав релиза вошли:

• Cosmos3-Nano-Transfer-Auto: Двунаправленная модель для офлайн-генерации синтетических данных вождения. Она способна создавать синхронизированное видео с 11 камер (включая объективы «рыбий глаз») и поддерживает совместную генерацию данных RGB и LiDAR.
• Cosmos3-Nano-Sim-Auto: Потоковый вариант предыдущей модели, полученный методом дистилляции. Генерирует короткие фрагменты синхронизированного видео и данных LiDAR за несколько шагов шумоподавления, что обеспечивает быструю работу и длительные интерактивные сессии.
• Cosmos3-Nano-Sim-Transfer: Превращает команды физического симулятора и текстовые подсказки в фотореалистичное видео. Физика остается на стороне симулятора, а модель отвечает за рендеринг цвета, глубины, границ объектов и размытия.
• Cosmos3-Nano-Sim-Bimanual: Симулирует реакцию среды на действия двурукого робота (поддерживаются платформы YAM и AgiBot) или перемещение камеры. Управление может осуществляться как алгоритмом, так и человеком через джойстики.

Архитектура Cosmos 3 базируется на магистрали Mixture-of-Transformers, которая через механизм внимания соединяет сети обработки текста и визуальной генерации. Модель работает со сжатыми видеопредставлениями (латентными переменными), где каждый временной шаг после начального изображения представляет четыре RGB-кадра.

Обучение моделей проходит в четыре этапа: двунаправленная адаптация на полных записанных клипах, обучение с учителем (teacher forcing), дистилляция согласованности (consistency distillation) и финальный этап — self-forcing. Последний шаг критически важен: он обучает модель на собственной сгенерированной истории, предотвращая накопление ошибок из-за неточностей в предыдущих кадрах.

Отмечается, что опубликованная конфигурация для вывода vLLM-Omni тестировалась на одном ускорителе GB200, однако это не является минимальным требованием к памяти.

Анализ

Предоставляя открытые веса и подробные рецепты дообучения, NVIDIA снижает порог входа для создания сложных симуляторов. Разделение моделей по специализации (одни переводят физику в пиксели, другие предсказывают последствия действий напрямую) позволяет разработчикам выбирать инструмент, который лучше всего подходит для их конкретного набора датчиков, конфигурации камер или типа робота.

Потоковая генерация, при которой каждое новое наблюдение формирует следующее действие системы, дает исследователям возможность изучать непрерывный цикл взаимодействия агента с окружающей средой.

Перспектива

Несмотря на выпуск новых инструментов, задача создания идеальных «мировых моделей» (world models) остается сложной. Впереди у индустрии этап оценки: исследователям предстоит измерить, насколько точно эти модели поддерживают обучение политик управления в реальных условиях, понять их текущие ограничения и найти способы устранения недостатков при масштабировании на более сложные сценарии.