BLEU/ROUGE
Определение
BLEU и ROUGE — классические метрики для оценки качества генерации текста путём сравнения с эталонными ответами.
Простое объяснение
BLEU и ROUGE — как проверка сочинения по ключевым словам. BLEU проверяет, что вы использовали правильные слова. ROUGE — что не упустили важные мысли из темы.
Подробнее
Связанные термины
Machine Translation
Machine Translation — автоматический перевод текста с одного языка на другой с помощью AI-моделей.
Synthetic Data
Синтетические данные — искусственно сгенерированные данные, имитирующие реальные, используемые для обучения AI при недостатке или конфиденциальности реальных данных.
Leaderboard
Leaderboard — таблица рейтингов AI-моделей по результатам стандартизированных бенчмарков, позволяющая сравнивать их производительность.
MMLU
MMLU (Massive Multitask Language Understanding) — бенчмарк для оценки знаний и способности к рассуждению LLM по 57 предметным областям.