reymer.ai
B

BLEU/ROUGE

Также известен как: BLEU Score, ROUGE Score
Данные и аналитика

Определение

BLEU и ROUGE — классические метрики для оценки качества генерации текста путём сравнения с эталонными ответами.

Простое объяснение

BLEU и ROUGE — как проверка сочинения по ключевым словам. BLEU проверяет, что вы использовали правильные слова. ROUGE — что не упустили важные мысли из темы.

Подробнее

BLEU (Bilingual Evaluation Understudy) измеряет точность n-грамм: какая доля n-грамм сгенерированного текста встречается в эталоне. Используется для машинного перевода. ROUGE (Recall-Oriented Understudy for Gisting Evaluation) измеряет полноту: какая доля n-грамм эталона встречается в генерации. Используется для суммаризации. Обе метрики имеют ограничения: не учитывают семантику, парафразы, качество текста. Современные подходы используют model-based метрики (BERTScore, GPT-4 as judge).

Связанные термины

Semantic Segmentation

Semantic Segmentation — классификация каждого пикселя изображения по принадлежности к семантическому классу.

Text Classification

Text Classification — автоматическое присвоение текстам категорий или меток на основе их содержания.

Leaderboard

Leaderboard — таблица рейтингов AI-моделей по результатам стандартизированных бенчмарков, позволяющая сравнивать их производительность.

Датасет

Датасет — набор данных, используемый для обучения, валидации и тестирования AI-моделей.

Perplexity (метрика)

Perplexity — метрика качества языковой модели, показывающая, насколько модель "удивлена" тестовыми данными. Чем ниже perplexity, тем лучше модель.

Summarization

Summarization — автоматическое создание краткого изложения длинного текста с сохранением ключевой информации.

Вернуться к глоссарию