AI Alignment
Определение
Согласование AI — область исследований, направленная на создание AI-систем, чьи цели и поведение соответствуют человеческим ценностям и намерениям.
Простое объяснение
Это как научить робота не просто выполнять команды, а понимать, что на самом деле хочет человек, и не делать ничего плохого.
Подробнее
Проблема согласования — одна из ключевых в безопасности AI. Основные направления:
- Value alignment — обучение AI человеческим ценностям
- Intent alignment — понимание истинных намерений пользователя
- Robustness — устойчивость к манипуляциям
Anthropic, OpenAI и DeepMind активно исследуют эту область.
Связанные термины
Explainable AI
Объяснимый AI (XAI) — подход к разработке AI-систем, решения которых можно понять и объяснить человеку.
Галлюцинации AI
Генерация AI-моделью правдоподобной, но фактически неверной информации.
Bias
Предвзятость в AI — систематические ошибки или искажения в данных и алгоритмах, которые приводят к несправедливым или дискриминационным результатам.
Model Card
Model Card — стандартизированный документ, описывающий ML-модель: её назначение, производительность, ограничения и этические аспекты.