MoE
Определение
Mixture of Experts — архитектура нейросети, состоящая из множества специализированных подсетей (экспертов) и маршрутизатора, который направляет входные данные к наиболее подходящим экспертам.
Простое объяснение
MoE — как большая больница с узкими специалистами. Вместо одного врача, который знает всё понемногу, есть множество экспертов, и ресепшн направляет вас к нужному в зависимости от вашей проблемы.
Подробнее
Связанные термины
Zero-shot Learning
Zero-shot обучение — способность AI выполнять задачи, на которых модель не обучалась напрямую, используя общие знания и инструкции.
CLIP
CLIP (Contrastive Language-Image Pre-training) — модель OpenAI, связывающая изображения и текст в общем пространстве представлений.
Self-Attention
Самовнимание — разновидность attention, где каждый элемент последовательности сравнивается со всеми остальными элементами той же последовательности.
NLP
Обработка естественного языка (NLP) — область AI, занимающаяся взаимодействием компьютеров с человеческим языком: понимание, генерация, перевод.