KV Cache
Определение
KV Cache — механизм кэширования ключей (Keys) и значений (Values) в трансформерах для ускорения авторегрессивной генерации.
Простое объяснение
KV Cache — как заметки при решении длинной задачи. Вместо того чтобы каждый раз пересчитывать промежуточные результаты, вы записываете их и используете повторно.
Подробнее
Связанные термины
PEFT
Parameter-Efficient Fine-Tuning — семейство методов дообучения моделей, которые обновляют лишь малую часть параметров, сохраняя качество полного fine-tuning.
Жизненный цикл модели
Жизненный цикл ML-модели — этапы от постановки задачи до вывода из эксплуатации: сбор данных, обучение, deployment, мониторинг, обновление.
QLoRA
Quantized LoRA — усовершенствованная версия LoRA, сочетающая квантизацию модели до 4 бит с адаптацией низкого ранга.
Фича
Фича (признак, feature) — входной параметр или характеристика данных, используемая ML-моделью для обучения и предсказаний.