Выпуск Beam от Reflection: открытая языковая модель на 501 млрд параметров

Суть

Новая американская лаборатория Reflection выпустила свою первую модель Beam на платформе Hugging Face. Это модель на базе архитектуры «смесь экспертов» (Mixture-of-Experts, MoE) с общим числом параметров 501 млрд, из которых при генерации каждого токена активны около 23 млрд. Модель принимает на вход текст, поддерживает контекстное окно размером до 1 млн токенов и распространяется под открытой лицензией Apache 2.0.

Контекст

Разработка позиционируется как шаг к демократизации искусственного интеллекта через открытый исходный код. Beam ориентирована на задачи, связанные с написанием кода и агентскими сценариями использования. Она предназначена для команд, которым нужна модель передового уровня для развертывания на собственном оборудовании, инфраструктуре или в облаке с возможностью глубокой настройки под специфические нужды.

Для стимулирования сообщества Reflection объявила о выделении 10 000 долларов в виде кредитов на Hugging Face Hub для лучших проектов, использующих Beam.

Детали

Архитектура Beam включает 52 слоя. В основе лежит механизм MoE: начиная с четвертого слоя используются блоки с 256 экспертами в каждом. Маршрутизатор выбирает 8 лучших экспертов для каждого токена, используя схему с ограничением по группам, аналогичную DeepSeek-V3.

Ключевые технические особенности:

• Внимание (Attention): Используется гибридный подход. 43 слоя применяют внимание со скользящим окном (sliding-window) на 512 токенов, а 9 слоев (каждый шестой и последний) охватывают весь контекст. Это позволяет снизить рост кэша до 36 КиБ на токен вместо потенциальных 208 КиБ.
• Остаточный поток (Residual Stream): Вместо стандартного сложения с весом 1, модель добавляет выход подслоя с весом 1/sqrt(k), сохраняя существующий поток с весом sqrt((k-1)/k), где k — номер шага. Это поддерживает постоянный масштаб потока.
• Форматы: Доступны контрольные точки в форматах BF16 (около 1 ТБ), FP8 и NVFP4. Версия NVFP4 сжимает веса примерно до 280 ГБ, что оптимизировано для архитектуры NVIDIA Blackwell.
• Оборудование: Для запуска версии NVFP4 достаточно двух графических процессоров B200 (360 ГБ памяти), однако для работы с длинным контекстом рекомендуется использовать четыре B200 (720 ГБ).

Модель поставляется с собственной обвязкой на языке Rust и имеет поддержку первого дня (day-0) в библиотеках transformers, SGLang и vLLM.

Анализ

Решение Reflection использовать гибридное внимание и модифицированную систему остаточных соединений демонстрирует фокус на оптимизации вычислений при работе с экстремально длинными контекстами. Разделение слоев на локальные и глобальные позволяет существенно экономить память, что критично при заявленном окне в миллион токенов. Выпуск модели в форматах с пониженной точностью (FP8 и NVFP4) делает ее развертывание более реалистичным для исследовательских групп и компаний, не обладающих безграничными вычислительными ресурсами.

Перспектива

Предоставление модели такого масштаба под лицензией Apache 2.0 дает разработчикам возможность полного контроля над инфраструктурой. Успех Beam будет зависеть от того, насколько эффективно сообщество сможет адаптировать предложенные инструменты (включая Rust-обвязку) и насколько заявленные бенчмарки в области программирования подтвердятся в реальных производственных задачах.