reymer.ai
G

Guardrails

Также известен как: Гардрейлы, AI Safeguards, Safety Filters
Этика и безопасность

Определение

Guardrails — защитные механизмы, ограничивающие поведение AI-модели и предотвращающие генерацию вредного или нежелательного контента.

Простое объяснение

Guardrails — как ограждения на горной дороге. Не мешают ехать, но не дают свалиться в пропасть. AI может многое, но некоторые направления заблокированы.

Подробнее

Guardrails работают на нескольких уровнях: input filtering (блокировка опасных запросов), output filtering (проверка ответов), behavioral training (RLHF/Constitutional AI), system prompts (инструкции поведения). NeMo Guardrails от NVIDIA предоставляет programmable rails. Guardrails AI — open-source фреймворк для валидации. Проблемы: false positives (блокировка легитимных запросов), обход через jailbreaks, balance между безопасностью и полезностью. Корпоративные deployment требуют кастомных guardrails под policy компании.

Связанные термины

Watermarking

Watermarking — технология встраивания скрытых меток в AI-генерированный контент для последующей идентификации его происхождения.

Constitutional AI

Constitutional AI — подход Anthropic к созданию безопасного AI, где модель обучается следовать набору принципов (конституции) через самокритику и ревизию.

AI Alignment

Согласование AI — область исследований, направленная на создание AI-систем, чьи цели и поведение соответствуют человеческим ценностям и намерениям.

EU AI Act

EU AI Act — первое в мире комплексное регулирование AI, устанавливающее требования к системам искусственного интеллекта в Европейском Союзе.

Галлюцинации AI

Генерация AI-моделью правдоподобной, но фактически неверной информации.

Model Card

Model Card — стандартизированный документ, описывающий ML-модель: её назначение, производительность, ограничения и этические аспекты.

Вернуться к глоссарию