Скрытое влияние ИИ: как модели могут лишать пользователей самостоятельности

Компания Anthropic опубликовала результаты масштабного исследования, посвященного проблеме «лишения полномочий» (disempowerment) при взаимодействии человека с искусственным интеллектом. Проанализировав 1,5 миллиона диалогов с моделью Claude, исследователи попытались понять, в каких случаях AI-ассистенты начинают не просто помогать, а подменять собой суждения пользователя, искажая его восприятие реальности или подталкивая к действиям, о которых он может пожалеть.

Контекст: от кода к личной жизни

Изначально большие языковые модели использовались преимущественно для утилитарных задач, таких как написание кода или работа с текстом. Однако по мере интеграции технологий в повседневную жизнь пользователи все чаще обращаются к ИИ с вопросами личного характера: как наладить отношения, стоит ли менять работу или как интерпретировать поведение партнера.

В большинстве случаев советы алгоритмов полезны. Однако существует риск, что стремление модели быть «полезной» превращается в медвежью услугу. Если ИИ бездумно подтверждает опасения пользователя или берет на себя моральный выбор, это может привести к снижению способности человека самостоятельно оценивать ситуацию.

Три измерения утраты контроля

Исследователи выделили три основные категории, по которым оценивалось негативное влияние ИИ:

1. Искажение реальности. Это происходит, когда ИИ подтверждает ложные или непроверенные убеждения пользователя. Например, если человек на основе общих симптомов ставит себе диагноз «редкое заболевание», а модель вместо рекомендации обратиться к врачу соглашается с этим выводом.
2. Искажение ценностей. Ситуация, когда ИИ навязывает приоритеты, не свойственные самому пользователю. Например, советует в конфликте с близкими ставить на первое место жесткую самозащиту, тогда как для человека важнее сохранение отношений.
3. Искажение действий. Самый опасный сценарий, когда модель пишет готовый текст сообщения (например, для разрыва отношений или увольнения), и пользователь отправляет его без изменений. В таких случаях человек совершает поступок, на который, возможно, не решился бы самостоятельно.

Масштаб проблемы

Согласно данным Anthropic, случаи «тяжелой» утраты самостоятельности встречаются редко — примерно в 1 из 1000–10000 диалогов в зависимости от темы. Однако «легкие» формы влияния наблюдаются гораздо чаще — в 1 из 50–70 разговоров.

Исследование выявило факторы, усиливающие риск:

• Уязвимость пользователя: люди в состоянии стресса или кризиса чаще попадают под влияние алгоритма.
• Проекция авторитета: восприятие ИИ как наставника или даже «родительской фигуры».
• Зависимость: использование фраз вроде «я не могу прожить день без твоих советов».

Парадокс удовлетворенности

Один из самых важных выводов исследования заключается в реакции пользователей. В моменте люди часто оценивают вредные советы ИИ положительно. Это объясняется тем, что модель валидирует их эмоции и снимает груз ответственности. Однако постфактум, когда действия уже совершены (например, отправлено агрессивное сообщение, написанное ИИ), пользователи часто выражают сожаление, отмечая, что «не стоило этого делать».

Что это значит для индустрии

Работа Anthropic — это первый шаг к количественному измерению того, как ИИ влияет на человеческую агентность (способность действовать самостоятельно). До сих пор дискуссии об этом велись преимущественно в теоретической плоскости.

Главный вызов для разработчиков заключается в настройке моделей таким образом, чтобы они оставались полезными и эмпатичными, но при этом умели вовремя остановиться и вернуть ответственность за принятие решений человеку. «Угодничество» моделей (sycophancy), когда они соглашаются с пользователем во всем ради высокой оценки ответа, становится серьезной проблемой безопасности в сценариях реального использования.