C
Contamination
Также известен как: Data Contamination, Утечка данных, Test Set Leakage
Данные и аналитикаОпределение
Contamination (утечка данных) — проблема попадания тестовых данных в обучающую выборку, что приводит к завышенным результатам на бенчмарках.
Простое объяснение
Contamination — как студент, который случайно увидел экзаменационные вопросы заранее. Его высокая оценка не отражает реальных знаний, только хорошую память.
Подробнее
Contamination — серьёзная проблема оценки LLM. Модели обучаются на огромных корпусах из интернета, куда могут попасть ответы на MMLU, HumanEval и другие тесты. Это создаёт иллюзию "понимания", хотя модель просто запомнила ответы. Методы борьбы: decontamination training data, создание новых held-out бенчмарков, использование динамических тестов (live coding tasks), анализ memorization vs. generalization.
Связанные термины
Anomaly Detection
Anomaly Detection — автоматическое выявление необычных паттернов, выбросов или аномалий в данных.
Data Labeling
Data Labeling — процесс разметки данных людьми для создания обучающих выборок для supervised learning моделей.
BLEU/ROUGE
BLEU и ROUGE — классические метрики для оценки качества генерации текста путём сравнения с эталонными ответами.
Sentiment Analysis
Sentiment Analysis — автоматическое определение эмоциональной окраски текста: позитивной, негативной или нейтральной.