OpenAI представила GPT-Red — автоматизированную систему для поиска уязвимостей, которая обучается через самостоятельную игру и делает новые языковые модели устойчивее к атакам.
3 мин
Компания OpenAI анонсировала GPT-Red — специализированную модель, созданную исключительно для поиска уязвимостей в других системах искусственного интеллекта. Эта система автоматизирует процесс так называемого "красного тестирования" (red-teaming), выявляя слабые места и векторы атак до того, как новые продукты попадут к конечным пользователям. Благодаря этому подходу новая модель GPT-5.6 Sol стала в шесть раз более устойчивой к внедрению вредоносных инструкций (prompt injection).
Традиционно поиском уязвимостей в нейросетях занимаются люди — специалисты по безопасности, которые пытаются обмануть модель, заставив ее выдать конфиденциальные данные или нарушить собственные базовые правила. ИИ-системы регулярно взаимодействуют с внешними данными через браузеры, приложения и локальные файлы. Это создает множество точек входа для злоумышленников, которые могут спрятать вредоносный код в электронном письме или на веб-странице.
GPT-5.5 Bio Bug Bounty > art card
Однако с ростом возможностей больших языковых моделей (LLM) ручной подход перестал масштабироваться. Людям требуется слишком много времени на разработку новых сценариев атак, что создает узкое место в цикле обеспечения безопасности. Требовался инструмент, способный генерировать огромные объемы разнообразных тестовых данных в автоматическом режиме.
GPT-Red обучалась с помощью алгоритмов обучения с подкреплением через самостоятельную игру (self-play). В этом процессе GPT-Red выступала в роли атакующего, получая награду за успешный взлом, а группа других моделей защищалась, стараясь выполнить свою первоначальную задачу и не поддаться на провокацию. По мере того как защитники становились умнее, GPT-Red была вынуждена изобретать все более сложные и нестандартные методы атак.
Результаты тестирования показывают значительное превосходство автоматики над ручным трудом:
Separating signal from noise > Art Card
Переход к автоматизированному поиску уязвимостей — это критический шаг для всей индустрии искусственного интеллекта. Использование одних нейросетей для тестирования других решает проблему нехватки квалифицированных кадров и позволяет генерировать данные для тренировки защиты в промышленных масштабах. Это означает, что безопасность начинает развиваться теми же темпами, что и сами вычислительные мощности. Теперь надежность модели зависит не только от количества потраченных человеко-часов, но и от объема вычислений, выделенных на работу "красной команды".
В ближайшем будущем автоматизированные системы тестирования станут индустриальным стандартом для всех крупных разработчиков. Они будут работать в связке с многоуровневыми системами защиты и мониторингом в реальном времени.
Однако этот подход несет и скрытые риски. GPT-Red по своей сути является мощным инструментом для взлома. Если подобные технологии попадут в открытый доступ, они могут быть использованы злоумышленниками для массовых атак на цифровые системы. Именно поэтому OpenAI держит GPT-Red в строгой изоляции от публичных продуктов, используя ее исключительно как внутренний механизм самосовершенствования.
Introducing GeneBench-Pro > Cover image
OpenAI переходит от ручного тестирования безопасности к автоматизированному, создав ИИ, который целенаправленно ищет уязвимости в других моделях.
Уровень безопасности ИИ теперь напрямую зависит от вычислительных мощностей, выделенных на тренировку атакующих алгоритмов, а не только от человеческого ресурса.
