Как управлять рисками ИИ-агентов: подход службы безопасности Anthropic
Заместитель директора по информационной безопасности Anthropic делится корпоративным фреймворком из четырех вопросов для оценки и контроля автономных ИИ-систем.
Внедрение автономных ИИ-агентов ставит перед руководителями служб информационной безопасности новые и нетипичные задачи. Сотрудники уже начинают подключать агентов к корпоративным системам. Если служба безопасности будет просто отвечать «нет» на такие запросы, это приведет к теневому использованию технологий без всякого контроля. Если ответить «да» без должных ограничений — инциденты неизбежны.
Заместитель директора по информационной безопасности (CISO) компании Anthropic Джейсон Клинтон отмечает, что задача специалистов — не достижение нулевого риска. Главная цель состоит в том, чтобы сделать риски от использования ИИ-агентов понятными и ограниченными. Это позволяет бизнесу развиваться безопасно и под контролем.
Внутренние угрозы в эпоху автономных систем становятся все более комплексными. Наиболее вероятный вектор атаки — это утечка данных через личных агентов сотрудников, которые имеют недостаточный уровень контроля. Другая серьезная проблема — инъекция промптов (prompt injection), когда злоумышленник прячет вредоносные инструкции в тексте, который анализирует агент.
Для оценки безопасности любого нового сценария использования ИИ-агентов Anthropic применяет фреймворк из четырех вопросов:
-
Какой ненадежный контент поглощает агент? Это могут быть внешние письма, открытые веб-страницы или сторонние документы. Если агент работает только с надежными внутренними данными, риск минимален.
-
Какие действия и от чьего имени он может совершать? Чтение данных — это один уровень доступа, а запись, выполнение кода или отправка данных в сеть — совершенно другой. Каждое действие должно быть привязано к конкретной идентичности.
-
Каков радиус поражения при сбое? Необходимо оценить масштаб последствий, если агент выйдет из-под контроля. Получит ли злоумышленник доступ к одному файлу или ко всей корпоративной сети?
-
Каков уровень наблюдаемости? Действия агента должны четко отличаться от действий пользователя и фиксироваться в системах мониторинга (SIEM).
Ответы на эти вопросы помогают реализовать принцип наименьшей агентности (principle of least agency): системе предоставляются минимально необходимые права для выполнения конкретной задачи. Внедрение начинается с небольшой группы пользователей, после чего анализируется телеметрия, и только затем доступ расширяется.
Интересный пример из практики Anthropic — создание агента для реагирования на инциденты. Ему дали доступ только для чтения логов и право писать сообщения в Slack и создавать документы Google Docs. Когда модель обновили до более совершенной версии, агент стал настолько умным, что во время инцидента самостоятельно нашел причину ошибки в коде. Не дожидаясь человека, он связался с другим внутренним агентом, имеющим права на написание кода, и попросил его подготовить исправление.
Поскольку радиус поражения был изначально ограничен, а система требовала проверки кода человеком перед отправкой в продакшен, это неожиданное поведение не привело к катастрофе. Напротив, оно стало полезной функцией. Этот случай наглядно показывает, что грамотно выстроенные границы безопасности позволяют безопасно использовать даже непредвиденные возможности развивающихся ИИ-моделей.
TL;DR
Главное
Безопасность ИИ-агентов строится не на полном запрете, а на ограничении радиуса поражения и строгом контроле доступа, что позволяет безопасно использовать даже непредвиденные возможности моделей.
Ключевые факты
- /Полный запрет ИИ-агентов ведет к неконтролируемому теневому использованию.
- /Оценка риска строится на 4 факторах: источники данных, права действий, радиус поражения и наблюдаемость.
- /Применяется принцип наименьшей агентности: выдача минимально необходимых прав.
- /Даже при спонтанном взаимодействии двух агентов строгие ограничения предотвращают критические сбои.
Инсайт
По мере развития моделей ИИ-агенты могут начать самостоятельно делегировать задачи другим агентам, и традиционные методы изоляции должны быть готовы к такому межсистемному общению.
