Платформа меняет подход к бенчмаркам: теперь результаты тестов хранятся прямо в репозиториях моделей, а проверять их может любой участник сообщества. Это ответ на кризис доверия к существующим метрикам.
3 мин
Hugging Face объявила о фундаментальном сдвиге в том, как оценивается эффективность искусственного интеллекта. Платформа переходит от централизованных рейтинговых таблиц (лидербордов), работающих по принципу «черного ящика», к децентрализованной системе Community Evals. Теперь результаты тестов не просто публикуются администрацией, а хранятся непосредственно в репозиториях моделей и могут быть проверены или оспорены любым участником сообщества.
Это решение направлено на демократизацию процесса оценки. Вместо того чтобы полагаться на один источник истины, индустрия получает прозрачную систему, где видно, кто проводил тест, как именно он проводился и можно ли воспроизвести эти результаты.
К 2026 году индустрия столкнулась с серьезной проблемой: традиционные метрики перестали отражать реальность. Популярные наборы данных для тестирования (бенчмарки) «перенасыщены»:
При этом модели, показывающие идеальные цифры в тестах, часто не справляются с реальными рабочими задачами: они не могут надежно искать информацию в интернете, писать готовый к продакшену код или выполнять многоступенчатые инструкции без галлюцинаций. Существует разрыв между «бумажной» эффективностью и реальной пользой.
Кроме того, разные источники часто публикуют противоречивые данные об одной и той же модели. Отсутствие единого стандарта и прозрачности привело к тому, что сообщество потеряло ориентиры.
Новая система Community Evals работает на базе инфраструктуры Hugging Face Hub и Git. Вот как это устроено:
eval.yaml, что гарантирует воспроизводимость..eval_results/ в формате YAML. Эти данные автоматически подтягиваются в карточку модели и в общие таблицы бенчмарков.Этот шаг меняет расстановку сил в индустрии. Ранее контроль над рейтингами был сосредоточен в руках небольшого числа организаций. Теперь оценка становится распределенной. Это решает проблему «подгонки» результатов, когда разработчики могли тренировать модели специально под конкретные тесты.
Важный аспект — метаданные оценки. Новая система делает видимым не только финальный балл, но и контекст: какая версия теста использовалась, какие настройки применялись, кто и когда запускал проверку. Это создает слой проверяемости, которого критически не хватало ранее.
Также это открывает доступ к данным через программный интерфейс (API). Исследователи смогут агрегировать оценки из тысяч источников, создавая свои собственные, более объективные или специализированные рейтинги, не зависящие от маркетинговых отделов крупных корпораций.
Представители Hugging Face честно признают: это нововведение не решит проблему насыщения бенчмарков (модели продолжат становиться умнее тестов) и не остановит практику обучения на тестовых данных. Однако это делает «игру» видимой.
В долгосрочной перспективе такой подход должен стимулировать создание новых, более сложных и специфических задач для ИИ. Поскольку инфраструктура для добавления новых бенчмарков теперь открыта, барьер для входа снижается. Мы можем ожидать появления множества узкоспециализированных тестов (например, для медицины, юриспруденции или специфических языков), которые будут создаваться самим сообществом, а не только гигантами индустрии.
Hugging Face переносит оценку моделей из закрытых таблиц в открытые репозитории, позволяя любому пользователю проверять и публиковать результаты тестов.
Децентрализация не предотвратит «натаскивание» моделей на тесты, но сделает процесс оценки прозрачным, позволяя сообществу видеть историю и авторство каждого балла.
