Transfer Learning
Определение
Трансфер обучения — перенос знаний, полученных моделью на одной задаче, для решения другой, родственной задачи, ускоряя обучение и улучшая результаты.
Простое объяснение
Это когда AI использует то, чему научился раньше, для новой задачи — как если бы умение кататься на велосипеде помогало научиться кататься на мотоцикле.
Подробнее
Примеры transfer learning:
- Fine-tuning GPT для конкретного домена
- Использование ImageNet-весов для медицинских изображений
- Адаптация BERT для классификации
Foundation models делают transfer learning стандартом.
Связанные термины
PEFT
Parameter-Efficient Fine-Tuning — семейство методов дообучения моделей, которые обновляют лишь малую часть параметров, сохраняя качество полного fine-tuning.
MoE
Mixture of Experts — архитектура нейросети, состоящая из множества специализированных подсетей (экспертов) и маршрутизатора, который направляет входные данные к наиболее подходящим экспертам.
Fine-tuning
Дообучение — процесс адаптации предобученной AI-модели к конкретной задаче или домену путём дополнительного обучения на специализированных данных.
Attention Mechanism
Механизм внимания — фундаментальный компонент современных нейросетей, позволяющий модели динамически фокусироваться на релевантных частях входных данных.