XAI
Определение
XAI (Explainable AI) — подход к созданию AI-систем, чьи решения и процесс рассуждений можно объяснить и понять человеку.
Простое объяснение
Это когда AI может объяснить, почему принял такое решение — не просто дать ответ, а показать свои «рассуждения».
Подробнее
Методы XAI:
- LIME — локальные объяснения
- SHAP — важность признаков
- Attention visualization — визуализация внимания
- Counterfactual — «что если» сценарии
Требуется регуляторами (EU AI Act) для высокорисковых применений.
Связанные термины
AI Governance
Система управления AI: политики, процессы и контроли для ответственного использования искусственного интеллекта.
Model Card
Model Card — стандартизированный документ, описывающий ML-модель: её назначение, производительность, ограничения и этические аспекты.
Model Collapse
Model Collapse — деградация качества AI-модели при обучении на данных, сгенерированных другими AI-моделями.
Grounding
Grounding — привязка генерации AI к фактическим данным, документам или внешним источникам для повышения точности и уменьшения галлюцинаций.