reymer.ai
L

LoRA

Также известен как: Low-Rank Adaptation, ЛоРА
Машинное обучение

Определение

Low-Rank Adaptation — метод эффективного дообучения больших языковых моделей, который замораживает исходные веса и добавляет небольшие обучаемые матрицы.

Простое объяснение

Представьте, что вам нужно научить огромную энциклопедию новой теме. Вместо переписывания всех томов, вы просто добавляете небольшие стикеры с пометками — это и есть LoRA. Быстро, дёшево и эффективно.

Подробнее

LoRA (Low-Rank Adaptation) революционизировал процесс fine-tuning больших моделей. Вместо обновления миллиардов параметров, LoRA добавляет пары маленьких матриц к каждому слою трансформера, сокращая количество обучаемых параметров в 10000 раз. Это позволяет дообучать модели размером 65B+ на одной потребительской видеокарте. Технология стала стандартом для создания кастомных моделей на базе LLaMA, Mistral и других открытых LLM.

Связанные термины

Глубокое обучение

Подмножество машинного обучения, использующее многослойные нейронные сети для анализа данных.

Inference

Инференс — процесс получения предсказаний или результатов от обученной AI-модели на новых входных данных.

Quantization

Квантизация — техника сжатия AI-моделей путём уменьшения точности чисел (например, с 32-bit до 4-bit), ускоряющая инференс и снижающая требования к памяти.

Latent Space

Latent Space — многомерное пространство скрытых представлений, где нейросеть кодирует семантику данных.

Машинное обучение

Подраздел AI, где алгоритмы учатся на данных и улучшают свои результаты без явного программирования.

Reinforcement Learning

Обучение с подкреплением — метод машинного обучения, при котором агент учится принимать решения, получая награды или штрафы за свои действия.

Вернуться к глоссарию