B
BLEU/ROUGE
Также известен как: BLEU Score, ROUGE Score
Данные и аналитикаОпределение
BLEU и ROUGE — классические метрики для оценки качества генерации текста путём сравнения с эталонными ответами.
Простое объяснение
BLEU и ROUGE — как проверка сочинения по ключевым словам. BLEU проверяет, что вы использовали правильные слова. ROUGE — что не упустили важные мысли из темы.
Подробнее
BLEU (Bilingual Evaluation Understudy) измеряет точность n-грамм: какая доля n-грамм сгенерированного текста встречается в эталоне. Используется для машинного перевода. ROUGE (Recall-Oriented Understudy for Gisting Evaluation) измеряет полноту: какая доля n-грамм эталона встречается в генерации. Используется для суммаризации. Обе метрики имеют ограничения: не учитывают семантику, парафразы, качество текста. Современные подходы используют model-based метрики (BERTScore, GPT-4 as judge).
Связанные термины
Perplexity (метрика)
Perplexity — метрика качества языковой модели, показывающая, насколько модель "удивлена" тестовыми данными. Чем ниже perplexity, тем лучше модель.
Semantic Segmentation
Semantic Segmentation — классификация каждого пикселя изображения по принадлежности к семантическому классу.
Question Answering
Question Answering (QA) — задача автоматического ответа на вопросы на естественном языке на основе текста или базы знаний.
Retrieval
Retrieval — поиск и извлечение релевантной информации из базы данных или корпуса документов по запросу.