Компания Liquid AI представила обновленную линейку моделей LFM2.5, использующую метод спекулятивного декодирования DSpark для ускорения логического вывода до 3.2 раз.
2 мин
Компания Liquid AI опубликовала на платформе Hugging Face обновленную линейку моделей LFM2.5. Главная особенность релиза — интеграция технологии DSpark, которая позволяет ускорить процесс логического вывода (inference) до 3.2 раз без потери качества ответов.
Скорость генерации текста остается одним из главных узких мест при использовании больших языковых моделей (LLM). Для решения этой проблемы исследователи активно развивают методы спекулятивного декодирования (speculative decoding). Суть подхода заключается в том, что быстрая "черновая" модель предсказывает сразу несколько следующих токенов, а основная, более тяжелая модель, параллельно проверяет их корректность. Это позволяет обойти ограничения памяти и значительно сэкономить вычислительное время.
В основе нового релиза Liquid AI лежит архитектура DSpark. Согласно исследовательским данным, это метод спекулятивного декодирования с планированием уверенности и полуавторегрессионной генерацией. Компания представила сразу несколько версий моделей: компактную на 1.2 миллиарда параметров, среднюю на 2.6 миллиарда и более крупную версию на 8 миллиардов параметров. Важно отметить, что для каждой модели сразу выпущены оптимизированные версии в формате GGUF, предназначенные для эффективного запуска на потребительском оборудовании.
Ускорение в 3.2 раза — это существенный скачок производительности. Для разработчиков это означает возможность внедрять локальные ИИ-решения в приложения, требующие мгновенного отклика, такие как голосовые ассистенты или системы анализа данных в реальном времени. Наличие GGUF-версий подтверждает устойчивый тренд индустрии на демократизацию технологий: фокус смещается с исключительно облачных вычислений в сторону локальной обработки данных (edge computing).
Успешное применение DSpark демонстрирует, что потенциал алгоритмической оптимизации нейросетей еще далек от исчерпания. В ближайшем будущем мы, вероятно, увидим, как подобные полуавторегрессионные методы генерации станут стандартом де-факто, интегрированным в базовые библиотеки машинного обучения. Это сделает высокоскоростной логический вывод нормой для моделей любого размера.
Liquid AI внедрила технологию DSpark в модели LFM2.5, что позволило ускорить генерацию текста до 3.2 раз за счет продвинутого спекулятивного декодирования.
Алгоритмические оптимизации процесса генерации текста сейчас дают не меньший прирост производительности ИИ, чем наращивание вычислительных мощностей.
