Transfer Learning
Определение
Трансфер обучения — перенос знаний, полученных моделью на одной задаче, для решения другой, родственной задачи, ускоряя обучение и улучшая результаты.
Простое объяснение
Это когда AI использует то, чему научился раньше, для новой задачи — как если бы умение кататься на велосипеде помогало научиться кататься на мотоцикле.
Подробнее
Примеры transfer learning:
- Fine-tuning GPT для конкретного домена
- Использование ImageNet-весов для медицинских изображений
- Адаптация BERT для классификации
Foundation models делают transfer learning стандартом.
Связанные термины
Жизненный цикл модели
Жизненный цикл ML-модели — этапы от постановки задачи до вывода из эксплуатации: сбор данных, обучение, deployment, мониторинг, обновление.
Нейронная сеть
Вычислительная система, вдохновлённая биологическими нейронными сетями мозга, состоящая из слоёв искусственных нейронов.
Transformer
Трансформер — архитектура нейронной сети с механизмом внимания (attention), ставшая основой современных языковых моделей и генеративного AI.
MoE
Mixture of Experts — архитектура нейросети, состоящая из множества специализированных подсетей (экспертов) и маршрутизатора, который направляет входные данные к наиболее подходящим экспертам.