BLEU/ROUGE
Определение
BLEU и ROUGE — классические метрики для оценки качества генерации текста путём сравнения с эталонными ответами.
Простое объяснение
BLEU и ROUGE — как проверка сочинения по ключевым словам. BLEU проверяет, что вы использовали правильные слова. ROUGE — что не упустили важные мысли из темы.
Подробнее
Связанные термины
Synthetic Data
Синтетические данные — искусственно сгенерированные данные, имитирующие реальные, используемые для обучения AI при недостатке или конфиденциальности реальных данных.
База знаний
База знаний — структурированное хранилище информации, используемое AI-системами для поиска фактов и контекста при генерации ответов.
Summarization
Summarization — автоматическое создание краткого изложения длинного текста с сохранением ключевой информации.
MMLU
MMLU (Massive Multitask Language Understanding) — бенчмарк для оценки знаний и способности к рассуждению LLM по 57 предметным областям.