Заместитель директора по информационной безопасности Anthropic рассказал, как компания адаптировала процессы защиты к циклу разработки, в котором 80% кода создается ИИ-агентами.
3 мин
Компания Anthropic поделилась внутренним опытом адаптации жизненного цикла разработки программного обеспечения (SDLC) к новым реалиям. На сегодняшний день около 80% кода, который попадает в основную кодовую базу компании, создается их собственной моделью Claude. Это потребовало радикального пересмотра подходов к информационной безопасности, чтобы защитить инфраструктуру от новых классов угроз, не замедляя при этом процесс создания продуктов.
Скорость развертывания новых решений в Anthropic выросла экспоненциально. В среднем инженеры компании сейчас выпускают в 8 раз больше кода за квартал, чем в период с 2021 по 2025 год.
Если бы процессы проверки и мониторинга остались прежними, они неминуемо стали бы узким местом, замедляющим всю систему (согласно закону Амдала). Кроме того, изменилась сама парадигма: модель Claude эволюционировала из простого помощника в основного создателя и рецензента кода. Люди теперь выступают в роли руководителей, задающих направление и утверждающих финальные результаты.
Изображение из источника
Команда безопасности Anthropic столкнулась с необходимостью защищать постоянно расширяющуюся поверхность атаки, где в центре находятся недетерминированные ИИ-агенты. Основные угрозы включают инъекции подсказок (prompt injection), через которые скомпрометированный агент может внедрить вредоносные изменения, а также отравление цепочки поставок, когда агент воспринимает зараженные зависимости как доверенные входные данные.
Для обеспечения безопасности без потери скорости Anthropic внедрила несколько ключевых стратегий:
Сдвиг проверок влево (Shift left). Безопасность интегрируется на самых ранних этапах. На стадии планирования используется веб-приложение на базе Claude Opus, которое анализирует проектную документацию на соответствие матрице угроз MITRE ATT&CK. Система подключена к внутренней базе знаний, что позволяет ИИ учитывать корпоративные политики и прошлые решения.
Внедрение правил на этапе генерации. Специалистам больше не нужно надеяться, что разработчики прочитают многостраничные руководства. Правила безопасного программирования зашиты в конфигурационные файлы (CLAUDE.md). Модель генерирует код, уже следуя лучшим практикам. Если обнаруживается новый класс уязвимостей, инструкции обновляются, и ошибка больше не повторяется.
Жесткая изоляция (Blast radius containment). Разработчики пишут код на удаленных виртуальных машинах. Это дает полный контроль над средой. Исходящий трафик ИИ-агентов строго фильтруется (egress-allowlisted). Если агент обработает вредоносный код с инъекцией, он не сможет отправить украденные данные на произвольный сервер в интернете — пути вывода ограничены только доверенными сервисами.
Изображение из источника
Подход Anthropic демонстрирует фундаментальный сдвиг в инженерии. Роль специалистов по безопасности меняется: они больше не ищут ошибки постфактум, а формируют саму среду и правила, по которым ИИ-агенты создают продукт.
Применение принципа наименьших привилегий к ИИ-моделям (ограничение доступа к сети и ресурсам) становится критически важным. Модели могут быть обмануты внешними данными, поэтому архитектура должна строиться с учетом того, что агент в любой момент может оказаться скомпрометирован.
По мере того как другие технологические компании будут переходить на ИИ-ориентированную разработку, им придется столкнуться с теми же проблемами масштабирования. Практики, описанные Anthropic — автоматизированный анализ архитектуры, внедрение политик через системные промпты и строгая сетевая изоляция сред разработки — с высокой вероятностью станут индустриальным стандартом в ближайшие несколько лет. Ручная проверка кода людьми останется обязательной только для самых критичных и регулируемых узлов инфраструктуры.
Изображение из источника
Изображение из источника
Переход к разработке, где 80% кода пишет ИИ, требует переноса контроля безопасности на этап настройки агентов и жесткой сетевой изоляции сред разработки.
Главной угрозой при ИИ-разработке становится не плохой код самой модели, а способность модели случайно выполнить скрытые команды злоумышленников (prompt injection), прочитав зараженный внешний файл или библиотеку.
