G
Guardrails
Также известен как: Гардрейлы, AI Safeguards, Safety Filters
Этика и безопасностьОпределение
Guardrails — защитные механизмы, ограничивающие поведение AI-модели и предотвращающие генерацию вредного или нежелательного контента.
Простое объяснение
Guardrails — как ограждения на горной дороге. Не мешают ехать, но не дают свалиться в пропасть. AI может многое, но некоторые направления заблокированы.
Подробнее
Guardrails работают на нескольких уровнях: input filtering (блокировка опасных запросов), output filtering (проверка ответов), behavioral training (RLHF/Constitutional AI), system prompts (инструкции поведения). NeMo Guardrails от NVIDIA предоставляет programmable rails. Guardrails AI — open-source фреймворк для валидации. Проблемы: false positives (блокировка легитимных запросов), обход через jailbreaks, balance между безопасностью и полезностью. Корпоративные deployment требуют кастомных guardrails под policy компании.
Связанные термины
Model Collapse
Model Collapse — деградация качества AI-модели при обучении на данных, сгенерированных другими AI-моделями.
Галлюцинации AI
Генерация AI-моделью правдоподобной, но фактически неверной информации.
Этика AI
Этика AI — область, изучающая моральные вопросы разработки и применения AI: справедливость, прозрачность, ответственность, влияние на общество.
Сверхразум
Сверхразум (ASI) — гипотетический искусственный интеллект, превосходящий человеческий во всех областях: науке, творчестве, социальных навыках.