PEFT
Определение
Parameter-Efficient Fine-Tuning — семейство методов дообучения моделей, которые обновляют лишь малую часть параметров, сохраняя качество полного fine-tuning.
Простое объяснение
PEFT — это набор хитрых способов научить огромную модель новым трюкам, не переучивая её полностью. Как научить слона новому фокусу, не проводя его через всю школу заново.
Подробнее
Связанные термины
MoE
Mixture of Experts — архитектура нейросети, состоящая из множества специализированных подсетей (экспертов) и маршрутизатора, который направляет входные данные к наиболее подходящим экспертам.
Latent Space
Latent Space — многомерное пространство скрытых представлений, где нейросеть кодирует семантику данных.
Inference
Инференс — процесс получения предсказаний или результатов от обученной AI-модели на новых входных данных.
DPO
Direct Preference Optimization — упрощённая альтернатива RLHF, которая напрямую оптимизирует модель на данных предпочтений без необходимости отдельной reward model.