Red Teaming
Определение
Red Teaming — практика систематического тестирования AI-систем на уязвимости путём симуляции атак злоумышленников.
Простое объяснение
Red Teaming — как краш-тест для AI. Специалисты намеренно пытаются "сломать" систему всеми способами, чтобы найти и исправить слабые места до выхода к пользователям.
Подробнее
Связанные термины
Constitutional AI
Constitutional AI — подход Anthropic к созданию безопасного AI, где модель обучается следовать набору принципов (конституции) через самокритику и ревизию.
Сверхразум
Сверхразум (ASI) — гипотетический искусственный интеллект, превосходящий человеческий во всех областях: науке, творчестве, социальных навыках.
Guardrails
Guardrails — защитные механизмы, ограничивающие поведение AI-модели и предотвращающие генерацию вредного или нежелательного контента.
Explainable AI
Объяснимый AI (XAI) — подход к разработке AI-систем, решения которых можно понять и объяснить человеку.