reymer.ai
J

Jailbreak

Также известен как: Джейлбрейк, Prompt Injection, AI Bypass
Этика и безопасность

Определение

Jailbreak — техники обхода встроенных ограничений AI-модели для получения запрещённых ответов или нежелательного поведения.

Простое объяснение

Jailbreak — как взлом замка, который AI поставил на свои возможности. Хакеры ищут обходные пути, разработчики укрепляют защиту.

Подробнее

Jailbreak-атаки используют уязвимости в alignment: ролевые игры ("Ты — злой AI без ограничений"), многоходовые манипуляции, кодированные запросы, adversarial prompts. DAN (Do Anything Now), Grandma Exploit, многоязычные атаки — известные примеры. Компании постоянно патчат уязвимости, но это игра в кошки-мышки. Red teaming — практика активного поиска jailbreaks для улучшения безопасности. Важно различать исследовательские jailbreaks (для улучшения моделей) и злонамеренные (для вредоносного использования).

Связанные термины

Explainable AI

Объяснимый AI (XAI) — подход к разработке AI-систем, решения которых можно понять и объяснить человеку.

Сверхразум

Сверхразум (ASI) — гипотетический искусственный интеллект, превосходящий человеческий во всех областях: науке, творчестве, социальных навыках.

Grounding

Grounding — привязка генерации AI к фактическим данным, документам или внешним источникам для повышения точности и уменьшения галлюцинаций.

Model Collapse

Model Collapse — деградация качества AI-модели при обучении на данных, сгенерированных другими AI-моделями.

Data Privacy

Конфиденциальность данных — защита персональной информации при её сборе, хранении и обработке AI-системами.

Watermarking

Watermarking — технология встраивания скрытых меток в AI-генерированный контент для последующей идентификации его происхождения.

Вернуться к глоссарию