Специализированная модель Dharma Field Extractor обходит общие LLM в извлечении данных из документов
Команда Dharma-AI представила новую модель на 2 млрд параметров для структурированного извлечения данных из документов, превосходящую коммерческие API по качеству и стоимости.
Главное за 30 секунд
Специализированная модель на 2 млрд параметров превосходит крупные общие LLM в задаче извлечения данных из документов, предлагая при этом значительно более низкую стоимость эксплуатации.
- Модель Dharma Field Extractor имеет 2 млрд параметров.
- В бенчмарке модель набрала 0.834 балла, обойдя Claude Opus 5 (0.816).
- Стоимость работы в 6-147 раз ниже по сравнению с протестированными API от OpenAI.
- Обучение включало 43 384 примера на разных языках.
Неочевидное: Для достижения лучших результатов в конкретной задаче размер модели менее важен, чем ее специализация и качество обучающих данных, что делает небольшие локальные модели серьезным конкурентом коммерческим API.
Суть
Команда Dharma-AI представила Dharma Field Extractor — модель с 2 миллиардами параметров, предназначенную для извлечения структурированных данных из документов любого типа. Согласно результатам внутренних тестов, эта специализированная модель превосходит коммерческие большие языковые модели общего назначения по качеству извлечения, при этом ее эксплуатация обходится значительно дешевле.
Контекст
Ранее, в апреле, Dharma-AI выпустила DharmaOCR-LITE — модель, специализированную на оптическом распознавании символов (OCR) для широкого спектра документов, от контрактов до счетов и удостоверений личности. Основной идеей было доказать, что меньшая модель, обученная под конкретную задачу, может превзойти общие API на этой задаче.
Однако традиционный OCR просто возвращает весь текст страницы, сохраняя форматирование. Это полезно для чтения контрактов целиком, но часто бизнесу нужны конкретные поля из документа в структурированном виде, готовом для баз данных: например, список позиций из счета-фактуры или имя пациента из медицинской формы. Раньше для этого требовалось писать код, сопоставляющий текст с полями, или использовать дорогие и медленные общие LLM со сложными промптами.
Детали
Dharma Field Extractor решает эту проблему, принимая изображение документа и возвращая структурированный JSON. Модель поддерживает два режима работы:
- Открытый режим (без схемы): модель сама определяет структурированные поля (пары ключ-значение или таблицы) на основе контекста и макета, возвращая все найденное.
- Режим по схеме: пользователь задает точную структуру полей с указанием их типов (строка, число, логическое значение) и имен ключей. Модель возвращает только запрошенные данные, заполняя отсутствующие поля значением null.
Базовой моделью послужила DharmaOCR-LITE v1.1 на 2 млрд параметров, оптимизированная с помощью контролируемого дообучения и DPO. Поверх нее был обучен адаптер LoRA на 43 384 примерах. Обучающие данные включали три потока: англоязычные документы из сети, реальные бразильские документы на португальском языке и многоязычные данные (европейские и азиатские языки).
В бенчмарке из 546 документов (1 638 сценариев) новая модель набрала 0.834 балла (field-level F1 с учетом сходства Левенштейна и валидности JSON). Для сравнения, лучшие общие LLM показали результаты от 0.816 (Claude Opus 5) до 0.741 (GPT-5.6 Luna).
При этом стоимость работы Dharma Field Extractor, запущенного на одном GPU L40S ($2.24 в час), оказалась от 6 до 147 раз ниже по сравнению с использованием API протестированных моделей (GPT-5.6 Luna и GPT-5.6 Sol соответственно).
Анализ
Результаты Dharma Field Extractor подтверждают гипотезу о том, что для узкоспециализированных задач небольшие, целенаправленно обученные модели могут быть эффективнее огромных универсальных LLM. Высокая точность извлечения в сочетании со строгим соблюдением формата JSON делает такие решения привлекательными для автоматизации бизнес-процессов, где требуется потоковая обработка документов.
Существенная разница в стоимости эксплуатации между саморазмещаемой специализированной моделью и коммерческими API подчеркивает экономическую целесообразность разработки локальных решений для рутинных задач с большим объемом данных.
Перспектива
Успех специализированных моделей в задачах обработки документов может стимулировать дальнейший переход бизнеса от использования универсальных LLM к внедрению компактных, локально развертываемых решений. Это не только снижает затраты, но и повышает контроль над данными, что критично для корпоративного сектора. В будущем можно ожидать появления большего числа подобных моделей, заточенных под специфические бизнес-процессы.
