Meta представила Muse Spark Open: мультимодальную модель на 816 миллиардов параметров для работы с кодом

Meta выпустила Muse Spark Open — передовую открытую мультимодальную модель с архитектурой смеси экспертов (mixture-of-experts, MoE). Это масштабная система, способная принимать на вход текст, изображения, аудио и видео, выдавая текстовые ответы. Модель специально обучена для автономного программирования: она может читать кодовую базу, писать и отлаживать код, а также вызывать внешние инструменты. Благодаря мультимодальности модель способна одновременно анализировать снимок экрана, слушать голосовую заметку или просматривать запись экрана во время работы над кодом.

Ранее в августе Meta представила Muse Glimmer — небольшую плотную модель из той же серии, подходящую для локального запуска. Muse Spark Open развивает эту архитектуру, переходя к масштабу смеси экспертов. Обе модели используют одинаковый токенизатор и словарь, но Spark Open предназначена для решения гораздо более сложных задач, требующих длительного планирования, наблюдения и самокоррекции на протяжении долгих сессий рефакторинга и отладки.

Архитектура модели впечатляет своими масштабами. Muse Spark Open содержит около 816 миллиардов параметров в целом, из которых при обработке каждого токена активируется около 42 миллиардов. Языковая часть состоит из 62 слоев. В каждом слое MoE находится 256 экспертов, из которых маршрутизатор выбирает 8 для каждого отдельного токена. Эти эксперты содержат примерно 97% всех параметров модели. Контекстное окно достигает 1 миллиона токенов на этапе вывода (inference), что позволяет загружать в единый контекст текст, изображения, видео и аудио.

За восприятие визуальной информации отвечает отдельный кодировщик с 1,8 миллиарда параметров, который разбивает изображения и кадры видео на участки 14 на 14 пикселей. Аудиокодировщик генерирует один токен каждые 80 миллисекунд, что дает 12,5 токенов в секунду. Модель доступна в формате BF16 (весит около 1,5 ТБ) и в формате 4-битной точности NVFP4, который оптимизирован специально для графических процессоров NVIDIA Blackwell с минимальной потерей точности.

Использование архитектуры MoE с 256 экспертами позволяет Meta эффективно сбалансировать требования к памяти и скорости. Хотя для развертывания модели требуется объем оперативной памяти, достаточный для хранения всех 816 миллиардов параметров, фактические вычисления происходят со скоростью модели на 42 миллиарда. Использование сгруппированного внимания (grouped-query attention) также помогает сохранять относительно небольшой размер кэша (KV cache) для контекста в миллион токенов.

Выпуск Muse Spark Open в открытом доступе предоставляет разработчикам мощный фундамент для создания автономных агентов-программистов нового поколения. Наличие форматов, оптимизированных для новейшего оборудования от NVIDIA, и поддержка популярных инструментов вывода (llama.cpp, vLLM, SGLang) указывает на то, что индустрия готовится к внедрению тяжелых мультимодальных агентов в реальные рабочие процессы разработчиков.