Anthropic представила технологию GRAM — архитектурное решение, позволяющее изолировать и физически удалять потенциально опасные знания из языковой модели без ущерба для ее общих способностей.
3 мин
Современные передовые модели искусственного интеллекта хранят в себе колоссальные объемы информации. Часть этих знаний относится к категории двойного назначения (dual-use). Например, понимание принципов вирусологии может помочь ученым в создании вакцин, но в руках злоумышленника те же знания могут стать инструкцией по созданию опасного патогена. Компания Anthropic совместно с исследователями из AE Studio представила новый подход к решению этой дилеммы.
Суть проблемы заключается в том, что существующие методы защиты несовершенны. Сегодня разработчики обучают модели отказываться от выполнения вредоносных запросов и используют классификаторы для фильтрации контента. Однако эти барьеры работают только на уровне вывода: сами опасные знания остаются зашитыми в весах модели. Целеустремленный злоумышленник может обойти эти ограничения с помощью джейлбрейков (jailbreaks).
Более надежный способ — контролировать саму базу знаний модели. Ранее для этого использовалась фильтрация обучающих данных: из датасета просто удаляли информацию о ядерном или биологическом оружии. Но этот подход крайне негибок. Если вам нужна одна безопасная модель для широкой публики и одна полнофункциональная модель для закрытой лаборатории биобезопасности, вам придется обучать две отдельные нейросети. Для передовых моделей (frontier models) это экономически нецелесообразно.
В ответ на эти ограничения исследователи разработали метод GRAM (Gradient-Routed Auxiliary Modules). Идея состоит в том, чтобы создать внутри модели изолированные отсеки для каждой категории знаний двойного назначения.
Технически GRAM работает путем добавления дополнительных нейронов в каждый слой стандартной архитектуры трансформера (Transformer). Эти нейроны объединяются в модули, каждый из которых отвечает за свою опасную тему. В процессе обучения, когда модель читает обычный текст, она обновляет свои базовые веса. Но как только в обучающей выборке попадается текст по вирусологии, базовые веса временно замораживаются. Модель продолжает использовать их для понимания контекста, но новые знания записываются исключительно в специализированный модуль вирусологии.
Такой подход приводит к тому, что специфические знания не размазываются по всей нейросети, а локализуются в конкретном блоке. После завершения обучения разработчики получают единую модель, которую можно настраивать как конструктор. Если модуль удалить, модель буквально забывает опасную информацию. Если оставить — она готова к работе в доверенной среде.
Исследователи протестировали GRAM на моделях размером от 50 миллионов до 5 миллиардов параметров. В экспериментах использовались четыре категории опасных знаний, включая кибербезопасность и ядерную физику. Результаты показали, что удаление модуля лишает модель соответствующих знаний так же эффективно, как если бы она никогда не видела этих данных при обучении. При этом общая производительность модели на обычных задачах не снижается.
Важно отметить, что GRAM оказался устойчив к попыткам восстановления знаний. Традиционные методы машинного забывания (unlearning) часто лишь маскируют информацию, которую злоумышленник может легко восстановить небольшим дообучением на вредоносных данных. В случае с GRAM знания удаляются физически, и быстро восстановить их не получается.
Пока это лишь ранний этап исследований. Метод еще не применялся в рабочих версиях моделей Claude и не тестировался на масштабах самых крупных современных нейросетей. Кроме того, остается открытой фундаментальная проблема: некоторые специфические знания могут быть настолько тесно переплетены с базовой логикой и здравым смыслом, что их чистое разделение окажется невозможным.
Тем не менее, по мере роста возможностей ИИ, индустрии потребуются именно такие, архитектурно заложенные механизмы контроля доступа. Переход от поверхностных фильтров к структурному управлению знаниями — это необходимый шаг для безопасного масштабирования технологий.
Anthropic разработала метод локализации опасных знаний в изолированных модулях нейросети, которые можно физически удалить без вреда для базовых навыков ИИ.
Вместо того чтобы пытаться заставить модель забыть уже выученное, эффективнее с самого начала складывать потенциально опасную информацию в отдельный съемный контейнер.
