reymer.ai
E

Emergent Abilities

Также известен как: Эмерджентные способности, Emergence
Машинное обучение

Определение

Emergent Abilities — способности, которые появляются у моделей только при достижении определённого масштаба и отсутствуют у меньших версий.

Простое объяснение

Emergent Abilities — как волшебство масштаба. Маленькая модель не умеет решать задачи, большая — внезапно умеет. Никто не учил специально — просто появилось.

Подробнее

Emergence — феномен, когда качественно новые способности возникают скачкообразно при увеличении размера. Примеры: chain-of-thought reasoning, few-shot learning, arithmetic, code generation. GPT-3 (175B) показал emergence в задачах, где GPT-2 (1.5B) был бесполезен. Споры: одни исследователи считают emergence фундаментальным свойством, другие — артефактом метрик (performance может расти плавно, но метрика показывает скачок). Emergence непредсказуем: нельзя знать заранее, что модель "научится".

Связанные термины

YOLO

YOLO (You Only Look Once) — семейство алгоритмов компьютерного зрения для обнаружения объектов в реальном времени на изображениях и видео.

RLHF

Reinforcement Learning from Human Feedback — метод обучения AI-моделей на основе человеческих предпочтений, используемый для выравнивания поведения модели с человеческими ценностями.

PEFT

Parameter-Efficient Fine-Tuning — семейство методов дообучения моделей, которые обновляют лишь малую часть параметров, сохраняя качество полного fine-tuning.

FlashAttention

FlashAttention — алгоритм вычисления attention, оптимизированный для GPU, который значительно снижает использование памяти и ускоряет обучение и inference.

Pre-training

Предобучение — начальный этап обучения AI-модели на огромных объёмах неразмеченных данных для формирования базовых знаний и способностей.

Машинное обучение

Подраздел AI, где алгоритмы учатся на данных и улучшают свои результаты без явного программирования.

Вернуться к глоссарию