PEFT
Определение
Parameter-Efficient Fine-Tuning — семейство методов дообучения моделей, которые обновляют лишь малую часть параметров, сохраняя качество полного fine-tuning.
Простое объяснение
PEFT — это набор хитрых способов научить огромную модель новым трюкам, не переучивая её полностью. Как научить слона новому фокусу, не проводя его через всю школу заново.
Подробнее
Связанные термины
Глубокое обучение
Подмножество машинного обучения, использующее многослойные нейронные сети для анализа данных.
Фича
Фича (признак, feature) — входной параметр или характеристика данных, используемая ML-моделью для обучения и предсказаний.
Quantization
Квантизация — техника сжатия AI-моделей путём уменьшения точности чисел (например, с 32-bit до 4-bit), ускоряющая инференс и снижающая требования к памяти.
LoRA
Low-Rank Adaptation — метод эффективного дообучения больших языковых моделей, который замораживает исходные веса и добавляет небольшие обучаемые матрицы.