Constitutional AI
Определение
Constitutional AI — подход Anthropic к созданию безопасного AI, где модель обучается следовать набору принципов (конституции) через самокритику и ревизию.
Простое объяснение
Constitutional AI — как воспитание ребёнка не через "делай так, не делай эдак", а через объяснение принципов: "будь добрым", "говори правду". Ребёнок сам учится применять принципы к новым ситуациям.
Подробнее
Связанные термины
Red Teaming
Red Teaming — практика систематического тестирования AI-систем на уязвимости путём симуляции атак злоумышленников.
XAI
XAI (Explainable AI) — подход к созданию AI-систем, чьи решения и процесс рассуждений можно объяснить и понять человеку.
Guardrails
Guardrails — защитные механизмы, ограничивающие поведение AI-модели и предотвращающие генерацию вредного или нежелательного контента.
Bias
Предвзятость в AI — систематические ошибки или искажения в данных и алгоритмах, которые приводят к несправедливым или дискриминационным результатам.