Adapter

Адаптеры появились раньше LoRA и предложили элегантное решение для transfer learning. Между слоями трансформера добавляются маленькие нейронные сети (обычно два линейных слоя с нелинейностью), которые обучаются на новых данных. Исходная модель остаётся замороженной, что позволяет хранить один базовый checkpoint и множество лёгких адаптеров для разных задач.