reymer.ai
C

Constitutional AI

Также известен как: CAI, Конституционный AI
Этика и безопасность

Определение

Constitutional AI — подход Anthropic к созданию безопасного AI, где модель обучается следовать набору принципов (конституции) через самокритику и ревизию.

Простое объяснение

Constitutional AI — как воспитание ребёнка не через "делай так, не делай эдак", а через объяснение принципов: "будь добрым", "говори правду". Ребёнок сам учится применять принципы к новым ситуациям.

Подробнее

Constitutional AI (CAI) решает проблему масштабирования human feedback. Вместо оценки каждого ответа людьми, модели дают набор принципов ("быть полезным", "избегать вреда", "быть честным") и она сама критикует и улучшает свои ответы. Процесс включает: (1) генерацию ответа, (2) самокритику на основе конституции, (3) ревизию ответа, (4) RLHF на ревизированных данных. Claude от Anthropic обучен этим методом.

Связанные термины

Model Collapse

Model Collapse — деградация качества AI-модели при обучении на данных, сгенерированных другими AI-моделями.

AI Governance

Система управления AI: политики, процессы и контроли для ответственного использования искусственного интеллекта.

Watermarking

Watermarking — технология встраивания скрытых меток в AI-генерированный контент для последующей идентификации его происхождения.

Галлюцинации AI

Генерация AI-моделью правдоподобной, но фактически неверной информации.

EU AI Act

EU AI Act — первое в мире комплексное регулирование AI, устанавливающее требования к системам искусственного интеллекта в Европейском Союзе.

Grounding

Grounding — привязка генерации AI к фактическим данным, документам или внешним источникам для повышения точности и уменьшения галлюцинаций.

Вернуться к глоссарию