Языковые модели осваивают управление роботами: результаты новых испытаний

Языковые модели постепенно выходят за пределы текстовых интерфейсов и начинают взаимодействовать с физическим миром. Недавнее исследование показало, что современные нейросети уже способны воспринимать сцену, понимать состояние конкретного робота и отдавать команды, которые приводят к реальным изменениям в пространстве. Однако успешность этих действий критически зависит от того, как именно модель подключена к оборудованию.

Исторически большие языковые модели (LLM) обучались на текстах и не имели привязки к физической реальности. Управление роботом требует синтеза логических навыков и точного пространственного понимания. Чтобы выяснить, насколько хорошо эти навыки переносятся в робототехнику, исследователи протестировали несколько моделей на различных роботизированных платформах, включая симуляции четвероногих и гуманоидных роботов, роботизированные руки и реальные устройства.

В ходе тестов моделям предоставили четыре различных способа управления, которые отличались по уровню абстракции. Первый — прямое управление (direct control), где модель напрямую задает крутящий момент моторов. Второй — программное управление (programmatic control), при котором нейросеть пишет код на Python для контроля движений. Третий подход — высокоуровневое управление через предварительно обученную политику (policy control), где модель отдает команды уже существующей нейросети, отвечающей за базовую моторику. Четвертый — обучение с подкреплением (reinforcement learning), где модель сама обучает политику с нуля.

Результаты испытаний оказались весьма показательными. Способность модели управлять роботом зависит от интерфейса так же сильно, как и от самой архитектуры нейросети. Когда моделям приходится напрямую управлять суставами, они в большинстве случаев терпят неудачу. Прямое низкоуровневое управление улучшается от поколения к поколению, но этот процесс идет неравномерно.

Ситуация кардинально меняется при переходе на более высокие уровни абстракции. Когда модели выступают в роли супервизоров для предварительно обученных контроллеров или используют инструменты пространственной ориентации, они успешно справляются с реальными задачами навигации и манипуляции. Особенно ярко это проявляется при использовании архитектур VLA (Vision-Language-Action), которые напрямую переводят изображения с камер и текстовые инструкции в движения роботизированной руки. Новые модели становятся все более эффективными руководителями для таких систем: они лучше распознают потенциально ошибочные действия и не полагаются на базовую политику слепо.

Интересно, что значительная часть прогресса новых моделей связана с их способностью к адаптации. На классических задачах контроля, таких как балансировка перевернутого маятника или удержание мяча в воздухе (задача TwinFlipper), модели первых поколений и новинки показывают схожие результаты при первой попытке. Однако в последующих итерациях новые версии демонстрируют существенный скачок в производительности, анализируя предыдущие исходы и корректируя свою стратегию.

Эти данные имеют важные последствия для безопасной разработки и внедрения искусственного интеллекта. Сегодняшние передовые модели пока не могут управлять гуманоидными роботами без помощи предварительно обученных политик. Однако разрыв в надежности сокращается с каждым новым поколением. Уже сейчас универсальная текстовая модель без специальной робототехнической подготовки способна самостоятельно написать код, загрузить необходимые инструменты и медленно провести четвероногого робота через лабиринт или заставить манипулятор переставить тарелку.

По мере роста скорости вывода (inference speed) и улучшения архитектур мы увидим дальнейшее стирание границ между цифровым интеллектом и физическим действием. Способность моделей понимать физику через текст и код открывает путь к созданию более автономных и универсальных роботизированных систем в ближайшем будущем.