Компания Liquid AI представила новые модели LFM2.5-Encoders, оптимизированные для эффективной обработки длинного контекста без использования графических ускорителей.
2 мин
Компания Liquid AI представила новое семейство моделей LFM2.5-Encoders, специально разработанных для быстрого вывода (inference) с длинным контекстом на центральных процессорах (CPU). Это событие заслуживает внимания, так как оно демонстрирует альтернативный путь развития в индустрии, где традиционно доминируют огромные генеративные модели, требующие дорогих графических ускорителей (GPU).
Исторически архитектура энкодеров (encoders), популяризованная моделью BERT в 2018 году, стала стандартом для задач понимания текста, классификации и поиска. Однако с ростом популярности больших языковых моделей (LLM), основанных на архитектуре декодеров, фокус внимания сместился в сторону генерации текста. Проблема классических энкодеров заключалась в их ограниченной способности эффективно работать с длинными текстами и высокой потребности в вычислительных ресурсах при масштабировании. Недавний выход ModernBERT показал, что интерес к двунаправленным моделям возвращается, и Liquid AI делает следующий важный шаг, оптимизируя их для работы на обычных процессорах.
Линейка LFM2.5-Encoders включает две компактные модели: на 230 миллионов и 350 миллионов параметров. Несмотря на скромный размер, они способны обрабатывать значительные объемы контекста. На платформе Hugging Face разработчики продемонстрировали несколько практических сценариев использования, которые можно запускать локально на CPU. Среди них: поиск и маскирование персональных данных (PII detection), проверка текстов на соответствие корпоративным политикам (policy linting), интеллектуальная маршрутизация запросов (prompt routing) и исправление опечаток. Все эти задачи выполняются на стороне сервера или даже на конечном устройстве без необходимости обращения к облачным GPU.
Для индустрии это означает постепенный сдвиг в сторону прагматичности. Далеко не каждой задаче требуется модель на десятки миллиардов параметров. В корпоративном секторе огромную роль играют стоимость инфраструктуры и безопасность данных. Возможность запускать эффективные модели локально на CPU позволяет компаниям обрабатывать конфиденциальную информацию внутри собственного контура, не переплачивая за дорогостоящие облачные вычисления.
В перспективе мы, вероятно, увидим дальнейшую фрагментацию рынка искусственного интеллекта. В то время как крупные игроки продолжат обучать гигантские универсальные модели, ниша специализированных, компактных и ресурсоэффективных решений будет стремительно расти. Модели вроде LFM2.5-Encoders доказывают, что для многих рутинных задач анализа текста вычислительная мощность обычного процессора более чем достаточна, если архитектура алгоритма спроектирована грамотно.
Liquid AI выпустила компактные энкодерные модели, способные быстро обрабатывать длинные тексты на обычных CPU, что снижает зависимость от дорогих видеокарт.
В то время как индустрия гонится за гигантскими генеративными моделями, реальная потребность бизнеса зачастую кроется в быстрых, дешевых и локальных инструментах для анализа текста.
