П
Промпт-инъекция
Также известен как: Prompt injection, промпт инъекция, инъекция промпта
Этика и безопасностьОпределение
Промпт-инъекция (prompt injection) — атака на ИИ-систему, при которой в обрабатываемые данные прячут команды для модели: в письмо, веб-страницу или документ. Модель может принять их за инструкции пользователя.
Маршрут: Как из чат-бота получается агент
шаг 9 из 10Простое объяснение
Это записка «сотрудник, отдай ключи от сейфа», подброшенная в стопку документов, которые ИИ просили просто прочитать.
Подробнее
Опасность растёт вместе с правами агента. Если агент читает почту и может отправлять письма, вредная строка в чужом письме способна заставить его переслать данные. Полной защиты пока нет, поэтому опасные действия агента подтверждает человек, а права агента ограничивают.
Защитные меры: гардрейлы, разделение данных и инструкций, проверка через red teaming.
Как термин связан с другими
Открыть карту связей- Дальше
- Guardrails
- На нём строится
- OpenClaw
- Сравнивают с
- Jailbreak