M
MMLU
Также известен как: Massive Multitask Language Understanding
Данные и аналитикаОпределение
MMLU (Massive Multitask Language Understanding) — бенчмарк для оценки знаний и способности к рассуждению LLM по 57 предметным областям.
Простое объяснение
MMLU — как единый экзамен для AI по всем предметам сразу: от физики до истории искусств. Показывает, насколько модель "образованна".
Подробнее
MMLU включает вопросы с множественным выбором из областей от элементарной математики до профессионального права и медицины. Тест покрывает STEM, гуманитарные науки, социальные науки и другие области на уровне от средней школы до профессионального экзамена. MMLU стал де-факто стандартом для сравнения LLM: GPT-4 показывает ~86%, Claude 3 Opus ~86%, Gemini Ultra ~83%. Однако есть критика: возможна контаминация тестовых данных, некоторые вопросы устарели или неоднозначны.
Связанные термины
Contamination
Contamination (утечка данных) — проблема попадания тестовых данных в обучающую выборку, что приводит к завышенным результатам на бенчмарках.
Summarization
Summarization — автоматическое создание краткого изложения длинного текста с сохранением ключевой информации.
Семантический поиск
Семантический поиск — поиск информации по смыслу, а не по ключевым словам, с использованием эмбеддингов и векторных баз данных.
Machine Translation
Machine Translation — автоматический перевод текста с одного языка на другой с помощью AI-моделей.