Model Collapse

Исследования показали, что итеративное обучение на synthetic data приводит к потере разнообразия и накоплению ошибок. Каждое поколение моделей теряет "хвосты" распределения — редкие, но важные паттерны. При достаточном количестве итераций модель может выродиться в генератор однотипного контента. Это критическая проблема, учитывая рост AI-контента в интернете. Решения: сохранение и приоритизация human-generated данных, фильтрация synthetic data, diversity-preserving training techniques.