reymer.ai
M

MoE

Также известен как: Mixture of Experts, Смесь экспертов
Машинное обучение

Определение

Mixture of Experts — архитектура нейросети, состоящая из множества специализированных подсетей (экспертов) и маршрутизатора, который направляет входные данные к наиболее подходящим экспертам.

Простое объяснение

MoE — как большая больница с узкими специалистами. Вместо одного врача, который знает всё понемногу, есть множество экспертов, и ресепшн направляет вас к нужному в зависимости от вашей проблемы.

Подробнее

MoE позволяет масштабировать модели до триллионов параметров при сохранении разумных вычислительных затрат. GPT-4 и Mixtral используют эту архитектуру. Для каждого токена активируется лишь часть экспертов (обычно 2 из 8), что обеспечивает sparse computation. Gating network учится направлять разные типы запросов к разным экспертам, создавая неявную специализацию: один эксперт может хорошо работать с кодом, другой — с математикой.

Связанные термины

Scaling Laws

Scaling Laws — эмпирические закономерности, связывающие производительность модели с её размером, объёмом данных и compute.

VAE

Variational Autoencoder — генеративная модель, которая учится кодировать данные в компактное латентное пространство и декодировать обратно, используя вероятностный подход.

Neural Network

Нейронная сеть — вычислительная система, вдохновлённая структурой мозга, состоящая из связанных узлов (нейронов), обрабатывающих информацию слоями.

Inference

Инференс — процесс получения предсказаний или результатов от обученной AI-модели на новых входных данных.

Модель

Модель в ML — обученный алгоритм, который принимает входные данные и выдаёт предсказания или генерирует результат.

Quantization

Квантизация — техника сжатия AI-моделей путём уменьшения точности чисел (например, с 32-bit до 4-bit), ускоряющая инференс и снижающая требования к памяти.

Вернуться к глоссарию