Few-shot Learning

Few-shot — одна из emergent abilities больших моделей. Вместо fine-tuning на тысячах примеров, достаточно показать 2-5 примеров в контексте. Zero-shot — без примеров, one-shot — с одним примером. Работает благодаря in-context learning: модель распознаёт паттерн и экстраполирует. Качество зависит от подбора примеров, их порядка, формата. Few-shot особенно эффективен для форматирования, классификации, перевода стиля.