PEFT
Определение
Parameter-Efficient Fine-Tuning — семейство методов дообучения моделей, которые обновляют лишь малую часть параметров, сохраняя качество полного fine-tuning.
Простое объяснение
PEFT — это набор хитрых способов научить огромную модель новым трюкам, не переучивая её полностью. Как научить слона новому фокусу, не проводя его через всю школу заново.
Подробнее
Связанные термины
Speculative Decoding
Speculative Decoding — метод ускорения inference LLM, где маленькая модель генерирует черновые токены, а большая модель верифицирует их параллельно.
Модель
Модель в ML — обученный алгоритм, который принимает входные данные и выдаёт предсказания или генерирует результат.
Latent Space
Latent Space — многомерное пространство скрытых представлений, где нейросеть кодирует семантику данных.
VAE
Variational Autoencoder — генеративная модель, которая учится кодировать данные в компактное латентное пространство и декодировать обратно, используя вероятностный подход.