reymer.ai
R

Red Teaming

Также известен как: Ред тиминг, Adversarial Testing
Этика и безопасность

Определение

Red Teaming — практика систематического тестирования AI-систем на уязвимости путём симуляции атак злоумышленников.

Простое объяснение

Red Teaming — как краш-тест для AI. Специалисты намеренно пытаются "сломать" систему всеми способами, чтобы найти и исправить слабые места до выхода к пользователям.

Подробнее

В контексте AI red teaming включает: поиск jailbreaks, тестирование на bias и дискриминацию, проверку на генерацию вредного контента, оценку устойчивости к манипуляциям. OpenAI, Anthropic, Google проводят extensive red teaming перед релизом моделей. Crowdsourced red teaming привлекает внешних исследователей. Автоматизированный red teaming использует другие LLM для генерации атак. Результаты red teaming используются для улучшения alignment и добавления guardrails.

Связанные термины

Model Card

Model Card — стандартизированный документ, описывающий ML-модель: её назначение, производительность, ограничения и этические аспекты.

Grounding

Grounding — привязка генерации AI к фактическим данным, документам или внешним источникам для повышения точности и уменьшения галлюцинаций.

Data Privacy

Конфиденциальность данных — защита персональной информации при её сборе, хранении и обработке AI-системами.

XAI

XAI (Explainable AI) — подход к созданию AI-систем, чьи решения и процесс рассуждений можно объяснить и понять человеку.

Guardrails

Guardrails — защитные механизмы, ограничивающие поведение AI-модели и предотвращающие генерацию вредного или нежелательного контента.

EU AI Act

EU AI Act — первое в мире комплексное регулирование AI, устанавливающее требования к системам искусственного интеллекта в Европейском Союзе.

Вернуться к глоссарию