Hugging Face представила масштабное обновление проекта Kernels, добавив новый тип репозиториев, усиленные меры безопасности и инструменты для автоматической разработки низкоуровневого кода.
3 мин
Компания Hugging Face выпустила крупное обновление для проекта Kernels. Инициатива направлена на стандартизацию процессов упаковки, распространения и использования пользовательских ядер (custom kernels) для вычислительных ускорителей. Главные нововведения включают появление нового типа репозиториев на платформе Hub, внедрение строгих механизмов безопасности и подготовку инфраструктуры для автоматической генерации кода с помощью ИИ-агентов.
Вычислительные ядра — это низкоуровневые программы, которые выполняются непосредственно на графических процессорах (GPU) или других ускорителях. Поскольку они запускаются с теми же привилегиями, что и вызывающий их процесс Python, выполнение непроверенного кода несет серьезные риски для безопасности систем.
Ранее Hugging Face уже заложила основы воспроизводимости сборок с помощью пакетного менеджера Nix, который изолирует процесс компиляции. Теперь же разработчики пересмотрели архитектуру проекта, чтобы сделать его более безопасным и удобным для интеграции в современные рабочие процессы.
Обновление принесло несколько ключевых технических изменений.
Во-первых, на платформе Hugging Face Hub появился новый тип репозитория — kernel. Это позволяет пользователям легко находить ядра, совместимые с их операционной системой, версией фреймворка и аппаратным ускорителем.
Во-вторых, значительно усилена безопасность. Введена система «доверенных издателей» (trusted publishers). По умолчанию загружаются только ядра от проверенных организаций. Для использования стороннего кода теперь требуется явное согласие пользователя через параметр trust_remote_code=True. Кроме того, внедряется механизм цифровой подписи кода с использованием эфемерных ключей через систему Sigstore. Это защищает от подмены файлов даже в случае компрометации учетной записи разработчика на Hub.
В-третьих, утилиты командной строки были логически разделены. Библиотека kernels теперь отвечает исключительно за загрузку и подготовку ядер, а kernel-builder — за их сборку. Также расширена поддержка фреймворков: добавлена совместимость со стабильным двоичным интерфейсом (Stable ABI) PyTorch и Apache TVM FFI, что позволяет создавать кросс-платформенные решения.
Одно из самых интересных направлений развития проекта — создание фундамента для агентной разработки (agentic kernel development). Инструменты kernel-builder и kernels спроектированы так, чтобы ИИ-агенты могли самостоятельно писать исходный код, собирать его, запускать тесты на реальном оборудовании и итеративно оптимизировать производительность.
Разделение процессов сборки и загрузки, а также интеграция с системой выполнения задач (HF Jobs) дает агентам предсказуемую среду. Они могут генерировать код, отправлять его на тестирование на различные аппаратные архитектуры и на основе полученных метрик улучшать результат без вмешательства человека.
Автоматизация создания низкоуровневого кода может кардинально изменить процесс оптимизации нейросетей. По мере появления новых аппаратных ускорителей, ИИ-агенты смогут быстро адаптировать и оптимизировать математические операции под конкретную архитектуру.
В ближайшем будущем мы, вероятно, увидим появление библиотек высокопроизводительных ядер, полностью написанных и протестированных автономными системами. Это снизит зависимость индустрии от дефицитных специалистов по низкоуровневой оптимизации и ускорит внедрение новых вычислительных платформ.
Hugging Face превращает проект Kernels в безопасную экосистему для распространения низкоуровневого кода, закладывая основу для автоматической оптимизации вычислений с помощью ИИ-агентов.
Главная цель обновления — не просто удобство людей, а создание стандартизированной среды, в которой ИИ-агенты смогут самостоятельно писать, тестировать и улучшать драйверы и ядра для новых процессоров.
