reymer.ai
L

Leaderboard

Также известен как: Лидерборд, Рейтинг моделей
Данные и аналитика

Определение

Leaderboard — таблица рейтингов AI-моделей по результатам стандартизированных бенчмарков, позволяющая сравнивать их производительность.

Простое объяснение

Leaderboard — как турнирная таблица для AI-моделей. Показывает, кто лидирует, но победа в турнире не гарантирует успех в реальном матче.

Подробнее

Популярные leaderboards: HuggingFace Open LLM Leaderboard (открытые модели), Chatbot Arena (human preference), LMSYS (ELO-рейтинг на основе blind comparisons), HELM (Stanford holistic evaluation). Leaderboards стимулируют прогресс, но создают проблемы: оптимизация под бенчмарки вместо реальных задач, contamination (утечка тестовых данных в обучение), gaming metrics. Важно смотреть на несколько leaderboards и тестировать на своих задачах.

Связанные термины

Предиктивная аналитика

Предиктивная аналитика — использование исторических данных и ML для прогнозирования будущих событий, трендов и поведения.

Семантический поиск

Семантический поиск — поиск информации по смыслу, а не по ключевым словам, с использованием эмбеддингов и векторных баз данных.

Machine Translation

Machine Translation — автоматический перевод текста с одного языка на другой с помощью AI-моделей.

MMLU

MMLU (Massive Multitask Language Understanding) — бенчмарк для оценки знаний и способности к рассуждению LLM по 57 предметным областям.

Датасет

Датасет — набор данных, используемый для обучения, валидации и тестирования AI-моделей.

Named Entity Recognition

Named Entity Recognition (NER) — извлечение из текста именованных сущностей: людей, организаций, мест, дат, сумм и других.

Вернуться к глоссарию