Perplexity (метрика)
Определение
Perplexity — метрика качества языковой модели, показывающая, насколько модель "удивлена" тестовыми данными. Чем ниже perplexity, тем лучше модель.
Простое объяснение
Perplexity — как оценка предсказуемости текста для модели. Если вы легко угадываете следующее слово в песне — perplexity низкая. Если текст полон неожиданностей — высокая.
Подробнее
Связанные термины
MMLU
MMLU (Massive Multitask Language Understanding) — бенчмарк для оценки знаний и способности к рассуждению LLM по 57 предметным областям.
Text Classification
Text Classification — автоматическое присвоение текстам категорий или меток на основе их содержания.
Machine Translation
Machine Translation — автоматический перевод текста с одного языка на другой с помощью AI-моделей.
BLEU/ROUGE
BLEU и ROUGE — классические метрики для оценки качества генерации текста путём сравнения с эталонными ответами.