M
Model Collapse
Также известен как: Коллапс модели, Model Degradation, Synthetic Data Curse
Этика и безопасностьОпределение
Model Collapse — деградация качества AI-модели при обучении на данных, сгенерированных другими AI-моделями.
Простое объяснение
Model Collapse — как испорченный телефон. Каждое поколение AI учится у предыдущего, теряя нюансы. После многих итераций остаётся искажённая версия изначального знания.
Подробнее
Исследования показали, что итеративное обучение на synthetic data приводит к потере разнообразия и накоплению ошибок. Каждое поколение моделей теряет "хвосты" распределения — редкие, но важные паттерны. При достаточном количестве итераций модель может выродиться в генератор однотипного контента. Это критическая проблема, учитывая рост AI-контента в интернете. Решения: сохранение и приоритизация human-generated данных, фильтрация synthetic data, diversity-preserving training techniques.
Связанные термины
Explainable AI
Объяснимый AI (XAI) — подход к разработке AI-систем, решения которых можно понять и объяснить человеку.
Галлюцинации AI
Генерация AI-моделью правдоподобной, но фактически неверной информации.
Constitutional AI
Constitutional AI — подход Anthropic к созданию безопасного AI, где модель обучается следовать набору принципов (конституции) через самокритику и ревизию.
Data Privacy
Конфиденциальность данных — защита персональной информации при её сборе, хранении и обработке AI-системами.