Локальный запуск моделей на 180 млрд параметров: оптимизация вывода MoE с помощью Transformers
Инженер адаптировал библиотеку Transformers для потоковой загрузки экспертов MoE-моделей с диска, что позволило запустить модель на 180 млрд параметров на Mac с 32 ГБ памяти.

Главное за 30 секунд
Доработка библиотеки Transformers позволила запускать MoE-модели размером 180 млрд параметров на ноутбуках с 32 ГБ памяти за счет эффективной потоковой загрузки весов с диска.
- Модель на 180 млрд параметров (Qwen3.8-Flash-Next) запущена на Mac с 32 ГБ памяти.
- Скорость генерации достигла 10 токенов в секунду благодаря потоковой загрузке экспертов.
- Для оптимизации эксперты были квантованы до 3 бит, заняв 49 ГБ на диске.
Неочевидное: Скорость работы огромных MoE-моделей при нехватке оперативной памяти теперь ограничивается не вычислительной мощностью процессора или видеокарты, а пропускной способностью SSD-накопителя.
Суть
Инженер Тарек Зиаде (Tarek Ziadé) успешно запустил большую языковую модель на основе смеси экспертов (MoE) с 180 миллиардами параметров на ноутбуке Apple Mac с 32 ГБ объединенной памяти. Для этого он внес изменения в библиотеку Transformers, реализовав механизм потоковой загрузки весов экспертов напрямую с диска, что позволило приблизиться к производительности специализированных движков.
Контекст
Современные большие языковые модели часто используют архитектуру смеси экспертов (MoE). В таких моделях большая часть весов (более 90%) приходится на «экспертов» — специализированные нейронные сети, из которых для каждого токена активируется лишь небольшая часть. Это позволяет запускать огромные модели на устройствах с ограниченной видеопамятью (VRAM), если держать в памяти только активных экспертов, а остальных выгружать в оперативную память или на накопитель.
Автор экспериментировал с локальным запуском моделей для помощи в программировании. Он столкнулся с тем, что стандартные решения вроде llama.cpp или vLLM имеют свои ограничения при работе с MoE-моделями, которые не помещаются полностью в оперативную память. Специализированный движок Strata показал хорошие результаты (13,5 токенов в секунду для модели Qwen3.8-Flash-Next на 32 ГБ Mac), но автор решил попытаться достичь схожих результатов, используя и дорабатывая библиотеку Transformers.
Детали
Также по темеАдаптеры для сред исполнения: метод повышения эффективности ИИ-агентовВ ходе экспериментов выяснилось, что стандартный механизм выгрузки в Transformers (через Accelerate) копирует весь банк экспертов слоя для каждого токена, что крайне неэффективно (скорость составила всего 0,16 токенов в секунду).
Для решения проблемы был разработан новый подход:
- Пул слотов (Slot pool): Вместо кэша был создан предварительно выделенный тензор на устройстве, общий для всех слоев, и таблица соответствия идентификаторов экспертов слотам. Это позволило использовать стандартную функцию
grouped_mm, которая выполняет вычисления для всех экспертов слоя за один проход. - Потоковая загрузка с диска: Эксперты, размещенные на диске, загружаются с помощью 8 потоков ввода-вывода. При этом маршрутизаторы (routers) следующих двух слоев запускаются заранее, чтобы предсказать, какие эксперты потребуются, и начать их предварительную загрузку (prefetch).
- Квантование: Для модели Qwen3.8-Flash-Next (121 ГБ в формате FP8) эксперты были квантованы до 3 бит (заняли 49 ГБ на диске), а плотные слои — до 8 бит. На устройстве кэшируется 12 ГиБ экспертов.
В результате доработок скорость генерации (decode) модели Qwen3.8-Flash-Next на Mac M5 с 32 ГБ памяти достигла 10,0 токенов в секунду (против 14,8 у Strata). Скорость обработки промпта (prefill) составила 68 токенов в секунду (у Strata — 220).
Анализ
Этот проект демонстрирует принципиальную возможность запуска гигантских MoE-моделей на потребительском оборудовании с ограниченным объемом оперативной памяти за счет агрессивной оптимизации работы с накопителем. Ключевым фактором стала потоковая загрузка только необходимых экспертов и использование асинхронного предварительного чтения.
Несмотря на то, что специализированные движки вроде Strata все еще быстрее (в 1,5–3,2 раза в зависимости от задачи), интеграция подобных механизмов в популярную библиотеку Transformers может значительно снизить порог входа для исследователей и разработчиков, желающих экспериментировать с большими локальными моделями.
Перспектива
Успешная реализация потоковой загрузки экспертов в Transformers (в настоящее время находится в виде Pull Request #50717) может привести к стандартизации этого подхода в экосистеме Hugging Face. В будущем можно ожидать дальнейших оптимизаций, направленных на сокращение разрыва в производительности со специализированными движками вывода, а также расширения поддержки различных архитектур MoE-моделей.



