MMLU
Определение
MMLU (Massive Multitask Language Understanding) — бенчмарк для оценки знаний и способности к рассуждению LLM по 57 предметным областям.
Простое объяснение
MMLU — как единый экзамен для AI по всем предметам сразу: от физики до истории искусств. Показывает, насколько модель "образованна".
Подробнее
Связанные термины
Семантический поиск
Семантический поиск — поиск информации по смыслу, а не по ключевым словам, с использованием эмбеддингов и векторных баз данных.
Question Answering
Question Answering (QA) — задача автоматического ответа на вопросы на естественном языке на основе текста или базы знаний.
Named Entity Recognition
Named Entity Recognition (NER) — извлечение из текста именованных сущностей: людей, организаций, мест, дат, сумм и других.
База знаний
База знаний — структурированное хранилище информации, используемое AI-системами для поиска фактов и контекста при генерации ответов.