Интеграция Project Genie и Street View: создание интерактивных миров на основе реальных локаций

DeepMind объявила о важном обновлении своей экспериментальной системы Project Genie. Теперь эта генеративная модель интегрирована с картографическим сервисом Street View.

Пользователи получили возможность создавать интерактивные виртуальные миры, которые не просто генерируются с нуля, а опираются на реальные физические локации. Это важный шаг в развитии технологий симуляции физического мира.

Контекст: что такое Project Genie

Project Genie — это так называемая «мировая модель» (world model) общего назначения. В отличие от языковых моделей, которые предсказывают следующий токен текста, мировые модели пытаются предсказать, как изменится визуальная среда в ответ на определенные действия.

С момента запуска Genie стал фундаментальным инструментом для исследователей. Он позволяет агентам искусственного интеллекта учиться и рассуждать в сложных виртуальных условиях. Например, подразделение беспилотных автомобилей Waymo уже использует эту технологию для симуляции гиперреалистичных дорожных ситуаций.

Детали обновления

Новая функция работает на базе технологии привязки к изображениям карт (Maps Imagery Grounding). Процесс взаимодействия выглядит следующим образом:

Пользователь выбирает реальное место на карте (на данный момент поддерживаются только локации в США). Затем он может задать определенный стиль для этого мира — например, «Каменный век», «Подводный мир» или «Черно-белое кино».

После этого в сцену можно добавить персонажа для управления. Система обрабатывает эти данные и генерирует интерактивную среду, стартовая точка которой точно соответствует реальным панорамам Street View.

Доступ к обновленному Project Genie постепенно открывается для совершеннолетних подписчиков тарифа Google AI Ultra по всему миру. Проект все еще находится в статусе экспериментального прототипа в рамках Google Labs.

Анализ: зачем это индустрии

На первый взгляд, возможность превратить мост Золотые Ворота в подводный уровень выглядит как развлекательная функция. Однако истинная ценность этого обновления лежит в сфере робототехники и автономных систем.

Объединение генеративных возможностей с реальными визуальными данными позволяет моделям лучше закрепляться в реальности. Это создает практически бесконечную виртуальную среду для тестирования ИИ-агентов или роботов.

Вместо того чтобы собирать терабайты видеоданных для каждой нестандартной ситуации, разработчики могут генерировать их на лету, сохраняя при этом точную геометрию реальных улиц и зданий.

Перспектива

В ближайшем будущем разработчики планируют расширить географию поддерживаемых локаций за пределы США. Также ведется работа над повышением четкости и физической точности генерируемых деталей.

По мере развития мировых моделей грань между реальными картами и процедурно генерируемыми симуляторами будет стираться. Это может фундаментально изменить подходы к обучению автономного транспорта, дронов и домашних роботов, позволив им безопасно отрабатывать миллионы сценариев в виртуальных копиях реальных городов.