reymer.ai
K

KV Cache

Также известен как: Key-Value Cache, Кэш ключей-значений
Машинное обучение

Определение

KV Cache — механизм кэширования ключей (Keys) и значений (Values) в трансформерах для ускорения авторегрессивной генерации.

Простое объяснение

KV Cache — как заметки при решении длинной задачи. Вместо того чтобы каждый раз пересчитывать промежуточные результаты, вы записываете их и используете повторно.

Подробнее

При генерации текста трансформер должен вычислять attention со всеми предыдущими токенами. Без кэширования это O(n²) операций для каждого нового токена. KV Cache сохраняет вычисленные K и V для всех предыдущих токенов, позволяя вычислять attention только для нового токена. Это критически важно для быстрой генерации, но требует памяти, пропорциональной длине контекста. Оптимизации KV Cache (PagedAttention, sliding window) — активная область исследований.

Связанные термины

PEFT

Parameter-Efficient Fine-Tuning — семейство методов дообучения моделей, которые обновляют лишь малую часть параметров, сохраняя качество полного fine-tuning.

QLoRA

Quantized LoRA — усовершенствованная версия LoRA, сочетающая квантизацию модели до 4 бит с адаптацией низкого ранга.

Few-shot Learning

Few-shot Learning — способность модели выполнять новую задачу, увидев лишь несколько примеров в промпте без дополнительного обучения.

Latent Space

Latent Space — многомерное пространство скрытых представлений, где нейросеть кодирует семантику данных.

Глубокое обучение

Подмножество машинного обучения, использующее многослойные нейронные сети для анализа данных.

LoRA

Low-Rank Adaptation — метод эффективного дообучения больших языковых моделей, который замораживает исходные веса и добавляет небольшие обучаемые матрицы.

Вернуться к глоссарию