Scaling Laws
Определение
Scaling Laws — эмпирические закономерности, связывающие производительность модели с её размером, объёмом данных и compute.
Простое объяснение
Scaling Laws — как формула успеха для AI: больше параметров + больше данных + больше вычислений = лучше модель. Работает удивительно надёжно.
Подробнее
Связанные термины
Speculative Decoding
Speculative Decoding — метод ускорения inference LLM, где маленькая модель генерирует черновые токены, а большая модель верифицирует их параллельно.
Жизненный цикл модели
Жизненный цикл ML-модели — этапы от постановки задачи до вывода из эксплуатации: сбор данных, обучение, deployment, мониторинг, обновление.
Fine-tuning
Дообучение — процесс адаптации предобученной AI-модели к конкретной задаче или домену путём дополнительного обучения на специализированных данных.
Inference
Инференс — процесс получения предсказаний или результатов от обученной AI-модели на новых входных данных.