Emergent Abilities

Emergence — феномен, когда качественно новые способности возникают скачкообразно при увеличении размера. Примеры: chain-of-thought reasoning, few-shot learning, arithmetic, code generation. GPT-3 (175B) показал emergence в задачах, где GPT-2 (1.5B) был бесполезен. Споры: одни исследователи считают emergence фундаментальным свойством, другие — артефактом метрик (performance может расти плавно, но метрика показывает скачок). Emergence непредсказуем: нельзя знать заранее, что модель "научится".