Ускорение генерации текста: Liquid AI выпустила черновые модели DSpark для LFM2.5
Liquid AI выпустила черновые модели DSpark для трёх моделей LFM2.5. Спекулятивное декодирование ускоряет генерацию до 3,18 раза на H100 и до 2,87 раза на ноутбуке, но для LFM2.5-8B-A1B на устройстве прирост в среднем всего 18%.

Главное за 30 секунд
Черновые модели DSpark ускоряют генерацию у трёх моделей LFM2.5 за счёт спекулятивного декодирования, но прирост сильно зависит от модели и железа: до 3,18 раза на H100 и в среднем всего 18% у LFM2.5-8B-A1B на устройстве.
- Ускорение до 3,18x на GPU H100 и до 2,87x на MacBook с M4 Max; для LFM2.5-8B-A1B на устройстве в среднем +18%.
- DSpark выпущен для LFM2.5-1.2B-Instruct, LFM2.5-2.6B и LFM2.5-8B-A1B, каждая черновая модель — около 300 млн параметров.
- Выпущены GGUF-версии для запуска на обычных компьютерах
- Технология базируется на полуавторегрессионной генерации
Неочевидное: Алгоритмические оптимизации процесса генерации текста сейчас дают не меньший прирост производительности ИИ, чем наращивание вычислительных мощностей.
Компания Liquid AI опубликовала на платформе Hugging Face черновые модели DSpark для трёх моделей семейства LFM2.5. Они добавляют спекулятивное декодирование и ускоряют логический вывод (inference) до 3,18 раза на GPU, не меняя ответов модели.
Скорость генерации текста остается одним из главных узких мест при использовании больших языковых моделей (LLM). Для решения этой проблемы исследователи активно развивают методы спекулятивного декодирования (speculative decoding). Суть подхода заключается в том, что быстрая "черновая" модель предсказывает сразу несколько следующих токенов, а основная, более тяжелая модель, параллельно проверяет их корректность. Это позволяет обойти ограничения памяти и значительно сэкономить вычислительное время.
В основе нового релиза Liquid AI лежит архитектура DSpark. Согласно исследовательским данным, это метод спекулятивного декодирования с планированием уверенности и полуавторегрессионной генерацией. Черновые модели выпущены для LFM2.5-1.2B-Instruct, LFM2.5-2.6B и LFM2.5-8B-A1B, каждая — около 300 млн параметров. Они доступны в Safetensors и в формате GGUF для запуска на потребительском оборудовании, поддержка есть в llama.cpp и SGLang.
Прирост сильно зависит от модели и железа. На H100 максимум — 3,18x, на MacBook с M4 Max — до 2,87x. А у LFM2.5-8B-A1B на устройстве ускорение в среднем всего 18%: мешает текущая реализация MoE в Metal-бэкенде llama.cpp. Для разработчиков это означает возможность внедрять локальные ИИ-решения в приложения, требующие мгновенного отклика, такие как голосовые ассистенты или системы анализа данных в реальном времени. Наличие GGUF-версий подтверждает устойчивый тренд индустрии на демократизацию технологий: фокус смещается с исключительно облачных вычислений в сторону локальной обработки данных (edge computing).
Успешное применение DSpark демонстрирует, что потенциал алгоритмической оптимизации нейросетей еще далек от исчерпания. В ближайшем будущем мы, вероятно, увидим, как подобные полуавторегрессионные методы генерации станут стандартом де-факто, интегрированным в базовые библиотеки машинного обучения. Это сделает высокоскоростной логический вывод нормой для моделей любого размера.



