Безопасность ИИ-разработки: как Anthropic контролирует код, созданный нейросетями
Заместитель директора по информационной безопасности Anthropic рассказал, как компания адаптировала процессы защиты к циклу разработки, в котором 80% кода создается ИИ-агентами.
Суть
Компания Anthropic поделилась внутренним опытом адаптации жизненного цикла разработки программного обеспечения (SDLC) к новым реалиям. На сегодняшний день около 80% кода, который попадает в основную кодовую базу компании, создается их собственной моделью Claude. Это потребовало радикального пересмотра подходов к информационной безопасности, чтобы защитить инфраструктуру от новых классов угроз, не замедляя при этом процесс создания продуктов.
Контекст
Скорость развертывания новых решений в Anthropic выросла экспоненциально. В среднем инженеры компании сейчас выпускают в 8 раз больше кода за квартал, чем в период с 2021 по 2025 год.
Если бы процессы проверки и мониторинга остались прежними, они неминуемо стали бы узким местом, замедляющим всю систему (согласно закону Амдала). Кроме того, изменилась сама парадигма: модель Claude эволюционировала из простого помощника в основного создателя и рецензента кода. Люди теперь выступают в роли руководителей, задающих направление и утверждающих финальные результаты.
Изображение из источника
Команда безопасности Anthropic столкнулась с необходимостью защищать постоянно расширяющуюся поверхность атаки, где в центре находятся недетерминированные ИИ-агенты. Основные угрозы включают инъекции подсказок (prompt injection), через которые скомпрометированный агент может внедрить вредоносные изменения, а также отравление цепочки поставок, когда агент воспринимает зараженные зависимости как доверенные входные данные.
Детали
Для обеспечения безопасности без потери скорости Anthropic внедрила несколько ключевых стратегий:
-
Сдвиг проверок влево (Shift left). Безопасность интегрируется на самых ранних этапах. На стадии планирования используется веб-приложение на базе Claude Opus, которое анализирует проектную документацию на соответствие матрице угроз MITRE ATT&CK. Система подключена к внутренней базе знаний, что позволяет ИИ учитывать корпоративные политики и прошлые решения.
-
Внедрение правил на этапе генерации. Специалистам больше не нужно надеяться, что разработчики прочитают многостраничные руководства. Правила безопасного программирования зашиты в конфигурационные файлы (CLAUDE.md). Модель генерирует код, уже следуя лучшим практикам. Если обнаруживается новый класс уязвимостей, инструкции обновляются, и ошибка больше не повторяется.
-
Жесткая изоляция (Blast radius containment). Разработчики пишут код на удаленных виртуальных машинах. Это дает полный контроль над средой. Исходящий трафик ИИ-агентов строго фильтруется (egress-allowlisted). Если агент обработает вредоносный код с инъекцией, он не сможет отправить украденные данные на произвольный сервер в интернете — пути вывода ограничены только доверенными сервисами.
Изображение из источника
- Автоматизация CI/CD. Этап тестирования стал главным потенциальным препятствием. Чтобы его преодолеть, Anthropic объединила детерминированные проверки с агентным анализом. ИИ-агенты обязаны программно доказывать валидность найденных ими уязвимостей. Доля запросов на слияние (pull requests), получающих содержательные комментарии по безопасности, выросла с 16% до 54%.
Анализ
Подход Anthropic демонстрирует фундаментальный сдвиг в инженерии. Роль специалистов по безопасности меняется: они больше не ищут ошибки постфактум, а формируют саму среду и правила, по которым ИИ-агенты создают продукт.
Применение принципа наименьших привилегий к ИИ-моделям (ограничение доступа к сети и ресурсам) становится критически важным. Модели могут быть обмануты внешними данными, поэтому архитектура должна строиться с учетом того, что агент в любой момент может оказаться скомпрометирован.
Перспектива
По мере того как другие технологические компании будут переходить на ИИ-ориентированную разработку, им придется столкнуться с теми же проблемами масштабирования. Практики, описанные Anthropic — автоматизированный анализ архитектуры, внедрение политик через системные промпты и строгая сетевая изоляция сред разработки — с высокой вероятностью станут индустриальным стандартом в ближайшие несколько лет. Ручная проверка кода людьми останется обязательной только для самых критичных и регулируемых узлов инфраструктуры.
Изображение из источника
Изображение из источника
TL;DR
Главное
Переход к разработке, где 80% кода пишет ИИ, требует переноса контроля безопасности на этап настройки агентов и жесткой сетевой изоляции сред разработки.
Ключевые факты
- /Инженеры Anthropic выпускают в 8 раз больше кода, чем в 2021-2025 годах.
- /Claude создает около 80% кода, попадающего в основную базу.
- /Доля проверок кода с глубокими комментариями выросла с 16% до 54% благодаря ИИ-аудиту.
- /Для защиты от утечек данных через ИИ-агентов используется строгая фильтрация исходящего трафика на виртуальных машинах.
Инсайт
Главной угрозой при ИИ-разработке становится не плохой код самой модели, а способность модели случайно выполнить скрытые команды злоумышленников (prompt injection), прочитав зараженный внешний файл или библиотеку.
