XAI
Определение
XAI (Explainable AI) — подход к созданию AI-систем, чьи решения и процесс рассуждений можно объяснить и понять человеку.
Простое объяснение
Это когда AI может объяснить, почему принял такое решение — не просто дать ответ, а показать свои «рассуждения».
Подробнее
Методы XAI:
- LIME — локальные объяснения
- SHAP — важность признаков
- Attention visualization — визуализация внимания
- Counterfactual — «что если» сценарии
Требуется регуляторами (EU AI Act) для высокорисковых применений.
Связанные термины
Model Card
Model Card — стандартизированный документ, описывающий ML-модель: её назначение, производительность, ограничения и этические аспекты.
Jailbreak
Jailbreak — техники обхода встроенных ограничений AI-модели для получения запрещённых ответов или нежелательного поведения.
Сверхразум
Сверхразум (ASI) — гипотетический искусственный интеллект, превосходящий человеческий во всех областях: науке, творчестве, социальных навыках.
Constitutional AI
Constitutional AI — подход Anthropic к созданию безопасного AI, где модель обучается следовать набору принципов (конституции) через самокритику и ревизию.
Этика AI
Этика AI — область, изучающая моральные вопросы разработки и применения AI: справедливость, прозрачность, ответственность, влияние на общество.
Grounding
Grounding — привязка генерации AI к фактическим данным, документам или внешним источникам для повышения точности и уменьшения галлюцинаций.