Hcompany представила NeoMME: эффективный мультимодальный и мультиязычный энкодер
Компания Hcompany выпустила семейство компактных моделей NeoMME (260M и 800M параметров) для мультимодального извлечения признаков и поиска визуальных документов.
Компания Hcompany анонсировала выпуск нового семейства моделей под названием NeoMME. Это мультимодальные (multimodal-native) и мультиязычные базовые энкодеры, разработанные для эффективного дообучения и логического вывода (inference).
В основе линейки лежат две основные модели размером 260 миллионов и 800 миллионов параметров. Несмотря на относительно компактный размер, они предназначены для решения сложных задач, связанных с обработкой как текстовой, так и визуальной информации.
Архитектура NeoMME представляет собой единую башню (single-tower). Такой подход позволяет модели обрабатывать различные типы данных в рамках одной нейронной сети, что снижает вычислительные затраты и упрощает процесс интеграции по сравнению с системами, использующими отдельные модули для текста и изображений.
Модель не опирается на готовую визуальную башню или языковую модель: текст и патчи изображений проходят через один двунаправленный трансформер, обученный с нуля. Контекст — 16 384 токена. Все чекпойнты выпущены по лицензии Apache 2.0 и работают в Hugging Face Transformers.
Для проверки Hcompany дообучила модель на поиск визуальных документов по методу ColPali: NeoMME-Retriever ищет по скриншотам страниц, без OCR. За один проход он выдаёт и плотный (dense) эмбеддинг, и эмбеддинги позднего взаимодействия (late interaction). Версия на 260 млн параметров набирает 0,523 nDCG@10 на ViDoRe v3 — лучший результат среди моделей меньше 800 млн параметров. На видеокарте L40S она кодирует около 51 страницы в секунду, а иерархический пулинг и квантование сжимают индекс примерно с 1,5 МБ до 6 КБ на страницу, сохраняя более 95% качества.
Для демонстрации возможностей новых энкодеров Hcompany запустила демо-приложение NeoMME-Retriever. Оно позволяет пользователям на практике оценить работу системы поиска визуальных документов и генерации с дополненной выборкой (RAG) на базе этих моделей.
Технические детали и результаты тестирования подробно описаны в научной статье «NeoMME: A Single-Tower Multimodal-Native Multilingual Foundation Encoder for Efficient Fine-Tuning and Inference», опубликованной несколько дней назад.
Появление моделей класса NeoMME подчеркивает текущий тренд в индустрии искусственного интеллекта на создание компактных, но высокоэффективных решений. В отличие от гигантских языковых моделей, требующих колоссальных вычислительных мощностей, энкодеры с сотнями миллионов параметров могут быть развернуты на менее дорогостоящем оборудовании, сохраняя при этом способность решать сложные мультимодальные задачи.
Время покажет, насколько широкое применение найдут эти модели в реальных бизнес-сценариях, однако их открытая публикация на Hugging Face уже предоставляет исследователям и разработчикам новый мощный инструмент для экспериментов и создания собственных приложений.
TL;DR
Главное
Hcompany выпустила семейство компактных мультимодальных энкодеров NeoMME, оптимизированных для эффективного поиска и извлечения признаков.
Ключевые факты
- /Модели доступны в размерах 260M и 800M параметров.
- /Один двунаправленный трансформер обрабатывает и текст, и патчи изображений, без отдельной предобученной визуальной башни; обучен с нуля.
- /NeoMME-Retriever-260M набирает 0,523 nDCG@10 на ViDoRe v3 — лучший результат среди моделей меньше 800 млн параметров; веса под Apache 2.0.
Инсайт
Компактные модели до 1 миллиарда параметров продолжают доказывать свою состоятельность в сложных мультимодальных задачах, предлагая альтернативу тяжеловесным решениям.
