LoRA

Определение

Low-Rank Adaptation — метод эффективного дообучения больших языковых моделей, который замораживает исходные веса и добавляет небольшие обучаемые матрицы.

Простое объяснение

Представьте, что вам нужно научить огромную энциклопедию новой теме. Вместо переписывания всех томов, вы просто добавляете небольшие стикеры с пометками — это и есть LoRA. Быстро, дёшево и эффективно.

Подробнее

LoRA (Low-Rank Adaptation) революционизировал процесс fine-tuning больших моделей. Вместо обновления миллиардов параметров, LoRA добавляет пары маленьких матриц к каждому слою трансформера, сокращая количество обучаемых параметров в 10000 раз. Это позволяет дообучать модели размером 65B+ на одной потребительской видеокарте. Технология стала стандартом для создания кастомных моделей на базе LLaMA, Mistral и других открытых LLM.

Определение

Простое объяснение

Подробнее

Связанные термины

KV Cache

Fine-tuning

Computer Vision

CLIP

PEFT

Zero-shot Learning