Оптимизация словаря малых языковых моделей снижает стоимость вывода на 77%

Суть

Команда Dharma-AI опубликовала предварительные результаты исследования метода VocabX, который позволяет снизить измеряемую стоимость логического вывода (inference) малых языковых моделей на 77% без изменения базовой модели. Суть подхода заключается в специализации словаря модели вокруг стоимости каждого токена, а не его частоты. Это решает проблему избыточности общих словарей при использовании моделей в узких предметных областях.

Контекст

При тонкой настройке открытых моделей общего назначения, таких как Qwen и Gemma, под конкретную задачу, они наследуют словарь, созданный для множества языков и применений. Токенизатор обычно рассматривается как фиксированное свойство базовой модели.

Dharma-AI использует в производстве автоматизированную систему оценки эссе на португальском языке, построенную на базе модели Qwen3-4B (4 млрд параметров). Несмотря на специализацию под один язык и один формат ответов (JSON), модель продолжала использовать оригинальный словарь из 151 669 записей. Это приводило к двум проблемам: фрагментации (когда часто повторяющиеся структуры разбиваются на множество мелких токенов) и избыточности (модель вычисляет вероятность появления китайских иероглифов при проверке текста на португальском).

Детали

Главный вывод исследователей: чтение обходится дешево, а генерация — дорого. Процесс логического вывода состоит из двух фаз. На этапе предварительного заполнения (prefill) модель обрабатывает весь ввод за один проход, где ограничением выступают вычислительные мощности. На этапе декодирования (decode) модель генерирует ответ по одному токену, и графический процессор большую часть времени ждет поступления данных из памяти.

В случае системы оценки эссе генерация одного токена стоит в 7.4 раза больше, чем чтение одного токена. Поэтому сокращение количества генерируемых токенов дает значительно больший экономический эффект.

Метод VocabX работает на двух уровнях одновременно:

1. На уровне подслов (sub-word) он заменяет базовый словарь на меньший, специфичный для домена. В системе оценки эссе выходной слой сократился с примерно 152 000 до 65 000 строк.
2. На уровне нескольких слов (multi-word) он ищет повторяющиеся фрагменты (от коротких выражений до полных строк и оболочек JSON) и превращает каждый из них в единый макро-токен.

Для поиска таких фрагментов используются пять автоматических алгоритмов. Например, алгоритм, ищущий структуры с пунктуацией (такие как JSON), принес 17.5 пунктов улучшения на корпусе кода. Без всех пяти алгоритмов сокращение токенов в системе оценки упало бы на 55.6 пунктов.

Кроме того, VocabX использует статистическую оценку для токенов, которые не попали в выборку документов. Это изменение повысило показатель сокращения токенов на корпусе контрактов с 44.7% до 52.8% (где только 16.6% кандидатов появляются в выборке из 400 документов).

Анализ

Существующие решения, такие как FVT, MWT и in-place BPE от Liquid AI, имеют два ограничения. Во-первых, они выбирают токены по частоте, а не по стоимости вычислений. Выражение, часто встречающееся во входных данных, для них ценнее, чем менее частое, но генерируемое на выходе (которое дороже обслуживать). Во-вторых, они работают только на одном уровне — либо корректируют разбиение слов, либо объединяют фразы. VocabX объединяет оба подхода под единым критерием стоимости.

Перспектива

Оптимизация словаря становится одним из важнейших рычагов снижения затрат для малых языковых моделей, работающих в узких нишах. Переход от парадигмы «частоты» к парадигме «стоимости генерации» может изменить подход к подготовке моделей перед этапом тонкой настройки, делая специализированные системы значительно более рентабельными в производстве.