MoE
Определение
Mixture of Experts — архитектура нейросети, состоящая из множества специализированных подсетей (экспертов) и маршрутизатора, который направляет входные данные к наиболее подходящим экспертам.
Простое объяснение
MoE — как большая больница с узкими специалистами. Вместо одного врача, который знает всё понемногу, есть множество экспертов, и ресепшн направляет вас к нужному в зависимости от вашей проблемы.
Подробнее
Связанные термины
Transformer
Трансформер — архитектура нейронной сети с механизмом внимания (attention), ставшая основой современных языковых моделей и генеративного AI.
Pre-training
Предобучение — начальный этап обучения AI-модели на огромных объёмах неразмеченных данных для формирования базовых знаний и способностей.
Speculative Decoding
Speculative Decoding — метод ускорения inference LLM, где маленькая модель генерирует черновые токены, а большая модель верифицирует их параллельно.
Unsupervised Learning
Обучение без учителя — тип машинного обучения, при котором модель находит скрытые паттерны в данных без предварительной разметки.