Contamination

Contamination — серьёзная проблема оценки LLM. Модели обучаются на огромных корпусах из интернета, куда могут попасть ответы на MMLU, HumanEval и другие тесты. Это создаёт иллюзию "понимания", хотя модель просто запомнила ответы. Методы борьбы: decontamination training data, создание новых held-out бенчмарков, использование динамических тестов (live coding tasks), анализ memorization vs. generalization.