XAI
Определение
XAI (Explainable AI) — подход к созданию AI-систем, чьи решения и процесс рассуждений можно объяснить и понять человеку.
Простое объяснение
Это когда AI может объяснить, почему принял такое решение — не просто дать ответ, а показать свои «рассуждения».
Подробнее
Методы XAI:
- LIME — локальные объяснения
- SHAP — важность признаков
- Attention visualization — визуализация внимания
- Counterfactual — «что если» сценарии
Требуется регуляторами (EU AI Act) для высокорисковых применений.
Связанные термины
Guardrails
Guardrails — защитные механизмы, ограничивающие поведение AI-модели и предотвращающие генерацию вредного или нежелательного контента.
Model Collapse
Model Collapse — деградация качества AI-модели при обучении на данных, сгенерированных другими AI-моделями.
Model Card
Model Card — стандартизированный документ, описывающий ML-модель: её назначение, производительность, ограничения и этические аспекты.
EU AI Act
EU AI Act — первое в мире комплексное регулирование AI, устанавливающее требования к системам искусственного интеллекта в Европейском Союзе.