Локальная фильтрация данных: как устроена новая модель Privacy Filter
Компания выпустила открытую модель на 1.5 миллиарда параметров для локального поиска и скрытия персональных данных в текстах.
Обновлено:
2 мин чтения
0 просмотров
Компания выпустила открытую модель на 1.5 миллиарда параметров для локального поиска и скрытия персональных данных в текстах.
2 мин
Компания OpenAI представила Privacy Filter — модель с открытыми весами, предназначенную для поиска и скрытия персональных данных (PII) в неструктурированном тексте. Это важный шаг в сторону создания более безопасной экосистемы разработки, где защита информации закладывается на фундаментальном уровне.
Суть нововведения заключается в том, что разработчики получают инструмент для очистки данных, который можно запускать локально. Это означает, что конфиденциальная информация может быть скрыта до того, как она покинет устройство пользователя или корпоративный сервер.
Традиционные инструменты для поиска персональных данных обычно опираются на детерминированные правила и регулярные выражения. Они хорошо справляются с поиском стандартных форматов, таких как номера телефонов или адреса электронной почты. Однако такие методы часто упускают неочевидную информацию и совершенно не понимают контекст. Например, они не могут отличить публичные данные компании от личного адреса человека.
OAI GPT-Rosaling Art Card 1x1
Privacy Filter решает эту проблему за счет глубокого понимания языка. Модель способна анализировать контекст и принимать более взвешенные решения о том, что именно нужно скрыть.
Технически Privacy Filter представляет собой двунаправленную модель классификации токенов. В отличие от генеративных моделей, которые создают текст шаг за шагом, эта модель размечает всю входную последовательность за один проход.
Размер модели составляет 1.5 миллиарда параметров, из которых при работе активны только 50 миллионов. Она поддерживает контекстное окно до 128 000 токенов, что позволяет эффективно обрабатывать длинные документы.
Модель обучена распознавать восемь категорий данных: имена, адреса, электронные почты, телефоны, ссылки, даты, номера счетов (включая банковские карты) и секреты (например, пароли и ключи API (API keys)).
accelerating-cyber-defense-ecosystem-1x1
На бенчмарке PII-Masking-300k модель демонстрирует высокую точность — метрика F1 составляет 96%. При этом архитектура позволяет разработчикам легко дообучать систему под специфические задачи своих организаций.
Для индустрии выпуск такой модели под лицензией Apache 2.0 означает снижение порога входа для создания безопасных приложений. Разработчикам больше не нужно отправлять сырые данные на сторонние серверы для деидентификации, что значительно снижает риски утечек.
Важно понимать, что Privacy Filter не является абсолютной гарантией анонимности или заменой полноценному аудиту безопасности. Как и любая нейросеть, она может ошибаться, особенно в коротких текстах с недостатком контекста. В критически важных сферах, таких как медицина или финансы, проверка человеком остается необходимой.
В перспективе мы видим смещение фокуса с огромных универсальных моделей на компактные, специализированные решения. Идея о том, что искусственный интеллект должен изучать мир, а не личные данные людей, становится стандартом индустрии.
Scaling our trusted access program for cyber defense 1x1
Представлена открытая модель для локального удаления персональных данных, позволяющая разработчикам очищать тексты без отправки на сторонние серверы.
Будущее приватности в ИИ строится не на сложных облачных фильтрах, а на компактных локальных моделях, которые понимают контекст лучше традиционных алгоритмов.
