Leaderboard
Определение
Leaderboard — таблица рейтингов AI-моделей по результатам стандартизированных бенчмарков, позволяющая сравнивать их производительность.
Простое объяснение
Leaderboard — как турнирная таблица для AI-моделей. Показывает, кто лидирует, но победа в турнире не гарантирует успех в реальном матче.
Подробнее
Связанные термины
База знаний
База знаний — структурированное хранилище информации, используемое AI-системами для поиска фактов и контекста при генерации ответов.
MMLU
MMLU (Massive Multitask Language Understanding) — бенчмарк для оценки знаний и способности к рассуждению LLM по 57 предметным областям.
Data Labeling
Data Labeling — процесс разметки данных людьми для создания обучающих выборок для supervised learning моделей.
Knowledge Graph
Граф знаний — структура данных, представляющая информацию в виде сети связанных сущностей и отношений между ними, используемая для улучшения AI-систем.