Mistral Large 4 на Hugging Face: архитектура, характеристики и акцент на кибербезопасность

Компания Mistral представила на платформе Hugging Face свою новую мультимодальную и мультиязычную модель Mistral Large 4, также известную под кодовым именем Le Chonk. Это крупное обновление в экосистеме моделей с открытыми весами, которое предлагает разработчикам мощный инструмент для анализа текста и изображений.

В основе модели лежит архитектура смеси экспертов (Mixture-of-Experts, MoE). Общий объем параметров составляет около 1 трлн, из которых при генерации каждого токена активируется 49 млрд. Окно контекста расширено до 1 млн токенов, что позволяет обрабатывать масштабные массивы данных, такие как длинные логи или объемные кодовые базы.

Архитектурно текстовый декодер Mistral Large 4 состоит из 72 слоев. Внимание (attention) реализовано через комбинацию Multi-head Latent Attention (MLA) для сжатия представлений ключей и значений, а также DeepSeek Sparse Attention (DSA) для выбора до 2048 позиций ключей для каждого запроса. Из 128 доступных экспертов маршрутизатор выбирает четырех для каждого токена, к которым добавляется один общий эксперт, работающий постоянно. За обработку изображений отвечает встроенный визуальный энкодер Pixtral с 1.6 млрд параметров.

Особое внимание в релизе уделено возможностям модели в сфере кибербезопасности. Mistral Large 4 набирает 82% в тесте Artificial Analysis Cyber Index, который требует воспроизведения реальной уязвимости в программном обеспечении с открытым исходным кодом и последующего создания патча. По данным Mistral, некоторые закрытые передовые модели получают в этом тесте оценки, близкие к нулю, так как их встроенные фильтры отказываются выполнять задачу.

Для специалистов по защите информации это критический фактор. Исследование уязвимостей и реагирование на инциденты часто выглядят как атаки с точки зрения входных данных модели. Использование закрытых API может привести к внезапной блокировке доступа прямо посреди расследования инцидента. Модель с открытыми весами, распространяемая по лицензии Mistral Ecosystem Open-Weight License, возвращает контроль над политикой использования и развертыванием в руки пользователя.

Помимо безопасности, модель демонстрирует сильные результаты в программировании и агентных рабочих процессах. В тестах на написание кода она достигает 61.7% на DeepSWE v1.1 и 59.4% на SWE-Atlas-QnA.

Для интеграции в рабочие процессы Mistral Large 4 уже имеет поддержку в библиотеке Transformers, фреймворке vLLM (для версии NVFP4) и llama.cpp. Наличие форматов FP8, NVFP4 и квантованных GGUF-версий делает развертывание модели более гибким, позволяя адаптировать ее под доступные вычислительные ресурсы.