Red Teaming
Определение
Red Teaming — практика систематического тестирования AI-систем на уязвимости путём симуляции атак злоумышленников.
Простое объяснение
Red Teaming — как краш-тест для AI. Специалисты намеренно пытаются "сломать" систему всеми способами, чтобы найти и исправить слабые места до выхода к пользователям.
Подробнее
Связанные термины
Сверхразум
Сверхразум (ASI) — гипотетический искусственный интеллект, превосходящий человеческий во всех областях: науке, творчестве, социальных навыках.
EU AI Act
EU AI Act — первое в мире комплексное регулирование AI, устанавливающее требования к системам искусственного интеллекта в Европейском Союзе.
Guardrails
Guardrails — защитные механизмы, ограничивающие поведение AI-модели и предотвращающие генерацию вредного или нежелательного контента.
Constitutional AI
Constitutional AI — подход Anthropic к созданию безопасного AI, где модель обучается следовать набору принципов (конституции) через самокритику и ревизию.