Партнерство NVIDIA и Anthropic: новый уровень безопасности для автономных ИИ-агентов

Суть

Компании все чаще переходят от использования простых чат-ботов к внедрению автономных ИИ-агентов, способных выполнять сложные бизнес-задачи. Однако расширение полномочий агентов несет серьезные риски для безопасности. Чтобы решить эту проблему, разработчик ИИ-моделей Anthropic в партнерстве с NVIDIA представили комплексное решение: платформу Claude Managed Agents и открытое программное обеспечение NVIDIA OpenShell. Этот тандем создает многоуровневую систему защиты, которая позволяет компаниям безопасно предоставлять агентам доступ к корпоративным данным и системам.

Контекст

До недавнего времени главным барьером для массового внедрения ИИ-агентов в корпоративном секторе была безопасность. Когда модель просто отвечает на вопросы — риски минимальны. Но когда агент получает право от имени пользователя отправлять письма, менять код или работать с финансовыми документами, цена ошибки или взлома возрастает многократно. Индустрии требовался стандарт, который позволил бы отделить «мозг» агента (языковую модель) от его «рук» (доступа к реальным системам), обеспечив строгий контроль за каждым действием.

Детали

Новая архитектура безопасности строится на двух ключевых компонентах, которые работают независимо друг от друга.

Первый компонент — Claude Managed Agents от Anthropic. Это набор интерфейсов программирования приложений (API) для создания агентов промышленного уровня. Главная особенность системы заключается в том, что цикл работы агента запускается на отдельном сервере, изолированном от среды выполнения («песочницы»). Все пароли и ключи доступа хранятся в защищенном хранилище (vault). Агент может использовать их для выполнения задач, но никогда не видит сами учетные данные напрямую.

Второй компонент — NVIDIA OpenShell. Это программное обеспечение с открытым исходным кодом (лицензия Apache 2.0), предназначенное для контроля среды выполнения. Оно работает по принципу «запрещено все, что не разрешено явно». OpenShell проверяет каждый инструмент, файл или сетевое соединение, к которому пытается обратиться агент. Более того, система включает математический верификатор политик, который аппаратно доказывает, что агент не сможет выйти за установленные рамки.

Анализ

Этот анонс знаменует важный сдвиг в развитии ИИ-индустрии: фокус смещается с наращивания параметров моделей на создание надежной инфраструктуры вокруг них. Подход, при котором безопасность обеспечивается не только внутренними ограничениями самой нейросети, но и жесткими внешними правилами среды выполнения, является единственным жизнеспособным путем для корпоративного применения.

Разделение ответственности между Managed Agents (оркестрация и изоляция секретов) и OpenShell (контроль доступа к ресурсам) создает эшелонированную защиту. Даже если языковая модель совершит ошибку или подвергнется атаке через подсказки (prompt injection), внешний контур безопасности заблокирует несанкционированные действия.

Перспектива

Появление стандартизированных и открытых инструментов безопасности от таких игроков, как NVIDIA и Anthropic, вероятно, ускорит интеграцию ИИ-агентов в крупный бизнес. Такие компании, как Notion, Rakuten и Asana, уже используют эти технологии для автоматизации процессов разработки, маркетинга и финансов. В ближайшие годы мы увидим переход от экспериментальных внедрений к созданию целых отделов цифровых сотрудников, чья деятельность будет строго регламентироваться математически доказуемыми политиками безопасности.