reymer.ai
A

Adapter

Также известен как: Адаптер, Adapter Layer
Машинное обучение

Определение

Адаптер — небольшой обучаемый модуль, встраиваемый между слоями предобученной модели для её адаптации под новые задачи без изменения основных весов.

Простое объяснение

Адаптер — как съёмный объектив для фотоаппарата. Камера (модель) остаётся той же, но разные объективы (адаптеры) позволяют снимать портреты, пейзажи или макро.

Подробнее

Адаптеры появились раньше LoRA и предложили элегантное решение для transfer learning. Между слоями трансформера добавляются маленькие нейронные сети (обычно два линейных слоя с нелинейностью), которые обучаются на новых данных. Исходная модель остаётся замороженной, что позволяет хранить один базовый checkpoint и множество лёгких адаптеров для разных задач.

Связанные термины

Жизненный цикл модели

Жизненный цикл ML-модели — этапы от постановки задачи до вывода из эксплуатации: сбор данных, обучение, deployment, мониторинг, обновление.

QLoRA

Quantized LoRA — усовершенствованная версия LoRA, сочетающая квантизацию модели до 4 бит с адаптацией низкого ранга.

YOLO

YOLO (You Only Look Once) — семейство алгоритмов компьютерного зрения для обнаружения объектов в реальном времени на изображениях и видео.

Zero-shot Learning

Zero-shot обучение — способность AI выполнять задачи, на которых модель не обучалась напрямую, используя общие знания и инструкции.

Self-Attention

Самовнимание — разновидность attention, где каждый элемент последовательности сравнивается со всеми остальными элементами той же последовательности.

Attention Mechanism

Механизм внимания — фундаментальный компонент современных нейросетей, позволяющий модели динамически фокусироваться на релевантных частях входных данных.

Вернуться к глоссарию