reymer.ai
M

MMLU

Также известен как: Massive Multitask Language Understanding
Данные и аналитика

Определение

MMLU (Massive Multitask Language Understanding) — бенчмарк для оценки знаний и способности к рассуждению LLM по 57 предметным областям.

Простое объяснение

MMLU — как единый экзамен для AI по всем предметам сразу: от физики до истории искусств. Показывает, насколько модель "образованна".

Подробнее

MMLU включает вопросы с множественным выбором из областей от элементарной математики до профессионального права и медицины. Тест покрывает STEM, гуманитарные науки, социальные науки и другие области на уровне от средней школы до профессионального экзамена. MMLU стал де-факто стандартом для сравнения LLM: GPT-4 показывает ~86%, Claude 3 Opus ~86%, Gemini Ultra ~83%. Однако есть критика: возможна контаминация тестовых данных, некоторые вопросы устарели или неоднозначны.

Связанные термины

Recommendation System

Recommendation System — алгоритм, предсказывающий предпочтения пользователя и предлагающий релевантный контент или продукты.

Named Entity Recognition

Named Entity Recognition (NER) — извлечение из текста именованных сущностей: людей, организаций, мест, дат, сумм и других.

Big Data

Большие данные — массивы информации огромного объёма, которые невозможно обработать традиционными методами, но которые служат основой для обучения AI-моделей.

Retrieval

Retrieval — поиск и извлечение релевантной информации из базы данных или корпуса документов по запросу.

BLEU/ROUGE

BLEU и ROUGE — классические метрики для оценки качества генерации текста путём сравнения с эталонными ответами.

Summarization

Summarization — автоматическое создание краткого изложения длинного текста с сохранением ключевой информации.

Вернуться к глоссарию