reymer.ai
C

Contamination

Также известен как: Data Contamination, Утечка данных, Test Set Leakage
Данные и аналитика

Определение

Contamination (утечка данных) — проблема попадания тестовых данных в обучающую выборку, что приводит к завышенным результатам на бенчмарках.

Простое объяснение

Contamination — как студент, который случайно увидел экзаменационные вопросы заранее. Его высокая оценка не отражает реальных знаний, только хорошую память.

Подробнее

Contamination — серьёзная проблема оценки LLM. Модели обучаются на огромных корпусах из интернета, куда могут попасть ответы на MMLU, HumanEval и другие тесты. Это создаёт иллюзию "понимания", хотя модель просто запомнила ответы. Методы борьбы: decontamination training data, создание новых held-out бенчмарков, использование динамических тестов (live coding tasks), анализ memorization vs. generalization.

Связанные термины

Retrieval

Retrieval — поиск и извлечение релевантной информации из базы данных или корпуса документов по запросу.

Sentiment Analysis

Sentiment Analysis — автоматическое определение эмоциональной окраски текста: позитивной, негативной или нейтральной.

Object Detection

Object Detection — задача компьютерного зрения: найти объекты на изображении и определить их классы и положение.

База знаний

База знаний — структурированное хранилище информации, используемое AI-системами для поиска фактов и контекста при генерации ответов.

MMLU

MMLU (Massive Multitask Language Understanding) — бенчмарк для оценки знаний и способности к рассуждению LLM по 57 предметным областям.

Anomaly Detection

Anomaly Detection — автоматическое выявление необычных паттернов, выбросов или аномалий в данных.

Вернуться к глоссарию