R
Red Teaming
Также известен как: Ред тиминг, Adversarial Testing
Этика и безопасностьОпределение
Red Teaming — практика систематического тестирования AI-систем на уязвимости путём симуляции атак злоумышленников.
Простое объяснение
Red Teaming — как краш-тест для AI. Специалисты намеренно пытаются "сломать" систему всеми способами, чтобы найти и исправить слабые места до выхода к пользователям.
Подробнее
В контексте AI red teaming включает: поиск jailbreaks, тестирование на bias и дискриминацию, проверку на генерацию вредного контента, оценку устойчивости к манипуляциям. OpenAI, Anthropic, Google проводят extensive red teaming перед релизом моделей. Crowdsourced red teaming привлекает внешних исследователей. Автоматизированный red teaming использует другие LLM для генерации атак. Результаты red teaming используются для улучшения alignment и добавления guardrails.
Связанные термины
Explainable AI
Объяснимый AI (XAI) — подход к разработке AI-систем, решения которых можно понять и объяснить человеку.
Model Collapse
Model Collapse — деградация качества AI-модели при обучении на данных, сгенерированных другими AI-моделями.
Галлюцинации AI
Генерация AI-моделью правдоподобной, но фактически неверной информации.
Constitutional AI
Constitutional AI — подход Anthropic к созданию безопасного AI, где модель обучается следовать набору принципов (конституции) через самокритику и ревизию.