Transfer Learning
Определение
Трансфер обучения — перенос знаний, полученных моделью на одной задаче, для решения другой, родственной задачи, ускоряя обучение и улучшая результаты.
Простое объяснение
Это когда AI использует то, чему научился раньше, для новой задачи — как если бы умение кататься на велосипеде помогало научиться кататься на мотоцикле.
Подробнее
Примеры transfer learning:
- Fine-tuning GPT для конкретного домена
- Использование ImageNet-весов для медицинских изображений
- Адаптация BERT для классификации
Foundation models делают transfer learning стандартом.
Связанные термины
Speculative Decoding
Speculative Decoding — метод ускорения inference LLM, где маленькая модель генерирует черновые токены, а большая модель верифицирует их параллельно.
MoE
Mixture of Experts — архитектура нейросети, состоящая из множества специализированных подсетей (экспертов) и маршрутизатора, который направляет входные данные к наиболее подходящим экспертам.
Quantization
Квантизация — техника сжатия AI-моделей путём уменьшения точности чисел (например, с 32-bit до 4-bit), ускоряющая инференс и снижающая требования к памяти.
YOLO
YOLO (You Only Look Once) — семейство алгоритмов компьютерного зрения для обнаружения объектов в реальном времени на изображениях и видео.