MoE

MoE позволяет масштабировать модели до триллионов параметров при сохранении разумных вычислительных затрат. GPT-4 и Mixtral используют эту архитектуру. Для каждого токена активируется лишь часть экспертов (обычно 2 из 8), что обеспечивает sparse computation. Gating network учится направлять разные типы запросов к разным экспертам, создавая неявную специализацию: один эксперт может хорошо работать с кодом, другой — с математикой.