Модели

Локальный запуск моделей на 180 млрд параметров: оптимизация вывода MoE с помощью Transformers

Инженер адаптировал библиотеку Transformers для потоковой загрузки экспертов MoE-моделей с диска, что позволило запустить модель на 180 млрд параметров на Mac с 32 ГБ памяти.

Обновлено:
3 мин чтения
Локальный запуск моделей на 180 млрд параметров: оптимизация вывода MoE с помощью Transformers

Главное за 30 секунд

Доработка библиотеки Transformers позволила запускать MoE-модели размером 180 млрд параметров на ноутбуках с 32 ГБ памяти за счет эффективной потоковой загрузки весов с диска.

  • Модель на 180 млрд параметров (Qwen3.8-Flash-Next) запущена на Mac с 32 ГБ памяти.
  • Скорость генерации достигла 10 токенов в секунду благодаря потоковой загрузке экспертов.
  • Для оптимизации эксперты были квантованы до 3 бит, заняв 49 ГБ на диске.

Неочевидное: Скорость работы огромных MoE-моделей при нехватке оперативной памяти теперь ограничивается не вычислительной мощностью процессора или видеокарты, а пропускной способностью SSD-накопителя.

Суть

Инженер Тарек Зиаде (Tarek Ziadé) успешно запустил большую языковую модель на основе смеси экспертов (MoE) с 180 миллиардами параметров на ноутбуке Apple Mac с 32 ГБ объединенной памяти. Для этого он внес изменения в библиотеку Transformers, реализовав механизм потоковой загрузки весов экспертов напрямую с диска, что позволило приблизиться к производительности специализированных движков.

Контекст

Современные большие языковые модели часто используют архитектуру смеси экспертов (MoE). В таких моделях большая часть весов (более 90%) приходится на «экспертов» — специализированные нейронные сети, из которых для каждого токена активируется лишь небольшая часть. Это позволяет запускать огромные модели на устройствах с ограниченной видеопамятью (VRAM), если держать в памяти только активных экспертов, а остальных выгружать в оперативную память или на накопитель.

Автор экспериментировал с локальным запуском моделей для помощи в программировании. Он столкнулся с тем, что стандартные решения вроде llama.cpp или vLLM имеют свои ограничения при работе с MoE-моделями, которые не помещаются полностью в оперативную память. Специализированный движок Strata показал хорошие результаты (13,5 токенов в секунду для модели Qwen3.8-Flash-Next на 32 ГБ Mac), но автор решил попытаться достичь схожих результатов, используя и дорабатывая библиотеку Transformers.

Детали

Также по темеАдаптеры для сред исполнения: метод повышения эффективности ИИ-агентов

В ходе экспериментов выяснилось, что стандартный механизм выгрузки в Transformers (через Accelerate) копирует весь банк экспертов слоя для каждого токена, что крайне неэффективно (скорость составила всего 0,16 токенов в секунду).

Для решения проблемы был разработан новый подход:

  • Пул слотов (Slot pool): Вместо кэша был создан предварительно выделенный тензор на устройстве, общий для всех слоев, и таблица соответствия идентификаторов экспертов слотам. Это позволило использовать стандартную функцию grouped_mm, которая выполняет вычисления для всех экспертов слоя за один проход.
  • Потоковая загрузка с диска: Эксперты, размещенные на диске, загружаются с помощью 8 потоков ввода-вывода. При этом маршрутизаторы (routers) следующих двух слоев запускаются заранее, чтобы предсказать, какие эксперты потребуются, и начать их предварительную загрузку (prefetch).
  • Квантование: Для модели Qwen3.8-Flash-Next (121 ГБ в формате FP8) эксперты были квантованы до 3 бит (заняли 49 ГБ на диске), а плотные слои — до 8 бит. На устройстве кэшируется 12 ГиБ экспертов.

В результате доработок скорость генерации (decode) модели Qwen3.8-Flash-Next на Mac M5 с 32 ГБ памяти достигла 10,0 токенов в секунду (против 14,8 у Strata). Скорость обработки промпта (prefill) составила 68 токенов в секунду (у Strata — 220).

Анализ

Этот проект демонстрирует принципиальную возможность запуска гигантских MoE-моделей на потребительском оборудовании с ограниченным объемом оперативной памяти за счет агрессивной оптимизации работы с накопителем. Ключевым фактором стала потоковая загрузка только необходимых экспертов и использование асинхронного предварительного чтения.

Несмотря на то, что специализированные движки вроде Strata все еще быстрее (в 1,5–3,2 раза в зависимости от задачи), интеграция подобных механизмов в популярную библиотеку Transformers может значительно снизить порог входа для исследователей и разработчиков, желающих экспериментировать с большими локальными моделями.

Перспектива

Успешная реализация потоковой загрузки экспертов в Transformers (в настоящее время находится в виде Pull Request #50717) может привести к стандартизации этого подхода в экосистеме Hugging Face. В будущем можно ожидать дальнейших оптимизаций, направленных на сокращение разрыва в производительности со специализированными движками вывода, а также расширения поддержки различных архитектур MoE-моделей.

Источник:Huggingface

Читать дальше