reymer.ai
S

Scaling Laws

Также известен как: Законы масштабирования, Chinchilla Scaling
Машинное обучение

Определение

Scaling Laws — эмпирические закономерности, связывающие производительность модели с её размером, объёмом данных и compute.

Простое объяснение

Scaling Laws — как формула успеха для AI: больше параметров + больше данных + больше вычислений = лучше модель. Работает удивительно надёжно.

Подробнее

Kaplan et al. (OpenAI, 2020) и Hoffmann et al. (DeepMind, Chinchilla, 2022) установили предсказуемые отношения: loss ~ N^(-α) × D^(-β) × C^(-γ), где N — параметры, D — данные, C — compute. Chinchilla показал, что многие модели недообучены: нужно больше данных относительно размера. Scaling laws объясняют, почему компании инвестируют в огромные модели — улучшения предсказуемы. Однако есть пределы: данные конечны, compute дорог, emergenence непредсказуем.

Связанные термины

QLoRA

Quantized LoRA — усовершенствованная версия LoRA, сочетающая квантизацию модели до 4 бит с адаптацией низкого ранга.

Нейронная сеть

Вычислительная система, вдохновлённая биологическими нейронными сетями мозга, состоящая из слоёв искусственных нейронов.

Zero-shot Learning

Zero-shot обучение — способность AI выполнять задачи, на которых модель не обучалась напрямую, используя общие знания и инструкции.

FlashAttention

FlashAttention — алгоритм вычисления attention, оптимизированный для GPU, который значительно снижает использование памяти и ускоряет обучение и inference.

Transfer Learning

Трансфер обучения — перенос знаний, полученных моделью на одной задаче, для решения другой, родственной задачи, ускоряя обучение и улучшая результаты.

Глубокое обучение

Подмножество машинного обучения, использующее многослойные нейронные сети для анализа данных.

Вернуться к глоссарию