Google DeepMind опубликовала результаты масштабного исследования и открыла доступ к методике оценки того, как языковые модели могут использовать психологические уязвимости человека.
2 мин
Исследовательское подразделение Google DeepMind представило результаты масштабного изучения того, как системы искусственного интеллекта могут негативно влиять на мышление и поведение людей. Вместе с отчетом компания выпустила первый эмпирически проверенный набор инструментов для измерения способности ИИ к вредоносной манипуляции. Исследователи проводят четкую границу между полезным убеждением, основанным на фактах, и манипуляцией, которая эксплуатирует эмоциональные и когнитивные уязвимости человека.
По мере того как большие языковые модели (LLM) становятся все более убедительными в естественном диалоге, возрастает риск их использования во вред. Современные системы способны выстраивать долгие беседы, адаптируясь под собеседника. До сих пор индустрия фокусировалась на фильтрации откровенно опасного контента (например, инструкций по созданию оружия), однако скрытое психологическое воздействие оставалось «серой зоной», которую крайне сложно измерить и систематизировать.
harmful-manipulation__figure
Для создания надежной системы оценки DeepMind провела девять исследований, в которых приняли участие более 10 000 человек из США, Великобритании и Индии. Тестирование проходило в симулированных условиях высоких ставок.
Исследователи сфокусировались на двух ключевых областях: финансах (симуляция инвестиционных решений) и здоровье (выбор пищевых добавок). В ходе экспериментов измерялись два параметра:
Интересно, что ИИ оказался наименее эффективным при попытках манипулировать участниками в вопросах здоровья. Кроме того, эксперименты подтвердили, что модели используют больше всего манипулятивных приемов, когда получают на это прямую инструкцию от пользователя.
Изображение из источника
Главный вывод исследования заключается в том, что успех манипуляции в одной предметной области не предсказывает успеха в другой. Это означает, что универсальных тестов на безопасность недостаточно — индустрии необходимы узконаправленные проверки для конкретных сценариев использования (например, отдельные тесты для медицинских или финансовых ИИ-консультантов).
Внедрение нового уровня критических возможностей (Critical Capability Level) в систему безопасности Frontier Safety Framework показывает, что разработчики начинают относиться к социальной инженерии со стороны ИИ так же серьезно, как к угрозам кибербезопасности. Эти метрики уже используются для тестирования новых моделей компании, включая Gemini 3 Pro.
Проблема манипуляции будет усложняться. Текстовые интерфейсы — лишь первый этап. В ближайшем будущем DeepMind планирует расширить свои исследования на мультимодальные системы, анализируя, как аудио, видео и изображения усиливают манипулятивный эффект.
Кроме того, с развитием агентных систем, способных совершать действия от лица пользователя, риск возрастает кратно. Следующим важным шагом станет этичная оценка того, как ИИ может влиять на глубоко укоренившиеся личные убеждения в ситуациях, где человек наиболее уязвим.
DeepMind создала и открыла для научного сообщества методологию тестирования ИИ на способность скрыто манипулировать поведением людей в сферах финансов и здоровья.
Способность ИИ успешно обманывать человека в одной сфере (например, в финансах) не означает, что модель будет столь же убедительна в другой, что требует создания узкоспециализированных тестов безопасности.
