Автоматизация безопасности: как OpenAI использует GPT-Red для поиска уязвимостей в нейросетях

Суть

Компания OpenAI анонсировала GPT-Red — специализированную модель, созданную исключительно для поиска уязвимостей в других системах искусственного интеллекта. Эта система автоматизирует процесс так называемого "красного тестирования" (red-teaming), выявляя слабые места и векторы атак до того, как новые продукты попадут к конечным пользователям. Благодаря этому подходу новая модель GPT-5.6 Sol стала в шесть раз более устойчивой к внедрению вредоносных инструкций (prompt injection).

Контекст

Традиционно поиском уязвимостей в нейросетях занимаются люди — специалисты по безопасности, которые пытаются обмануть модель, заставив ее выдать конфиденциальные данные или нарушить собственные базовые правила. ИИ-системы регулярно взаимодействуют с внешними данными через браузеры, приложения и локальные файлы. Это создает множество точек входа для злоумышленников, которые могут спрятать вредоносный код в электронном письме или на веб-странице.

Однако с ростом возможностей больших языковых моделей (LLM) ручной подход перестал масштабироваться. Людям требуется слишком много времени на разработку новых сценариев атак, что создает узкое место в цикле обеспечения безопасности. Требовался инструмент, способный генерировать огромные объемы разнообразных тестовых данных в автоматическом режиме.

Детали

GPT-Red обучалась с помощью алгоритмов обучения с подкреплением через самостоятельную игру (self-play). В этом процессе GPT-Red выступала в роли атакующего, получая награду за успешный взлом, а группа других моделей защищалась, стараясь выполнить свою первоначальную задачу и не поддаться на провокацию. По мере того как защитники становились умнее, GPT-Red была вынуждена изобретать все более сложные и нестандартные методы атак.

Результаты тестирования показывают значительное превосходство автоматики над ручным трудом:

• В тестах на непрямые внедрения инструкций GPT-Red достигла успеха в 84% сценариев, тогда как люди-тестировщики справились лишь в 13% случаев.
• Система успешно провела атаку на реального ИИ-агента (Vendy), управляющего вендинговым аппаратом в офисе OpenAI. GPT-Red смогла изменить цены на дорогие товары до минимума и отменить заказы других клиентов.
• Интеграция атак GPT-Red в процесс тренировки GPT-5.6 позволила радикально снизить восприимчивость новой модели к манипуляциям.

Анализ

Переход к автоматизированному поиску уязвимостей — это критический шаг для всей индустрии искусственного интеллекта. Использование одних нейросетей для тестирования других решает проблему нехватки квалифицированных кадров и позволяет генерировать данные для тренировки защиты в промышленных масштабах. Это означает, что безопасность начинает развиваться теми же темпами, что и сами вычислительные мощности. Теперь надежность модели зависит не только от количества потраченных человеко-часов, но и от объема вычислений, выделенных на работу "красной команды".

Перспектива

В ближайшем будущем автоматизированные системы тестирования станут индустриальным стандартом для всех крупных разработчиков. Они будут работать в связке с многоуровневыми системами защиты и мониторингом в реальном времени.

Однако этот подход несет и скрытые риски. GPT-Red по своей сути является мощным инструментом для взлома. Если подобные технологии попадут в открытый доступ, они могут быть использованы злоумышленниками для массовых атак на цифровые системы. Именно поэтому OpenAI держит GPT-Red в строгой изоляции от публичных продуктов, используя ее исключительно как внутренний механизм самосовершенствования.