NVIDIA представила Nemotron 3.5 Transcribe: открытая модель для транскрибации и анализа аудио

Суть

Компания NVIDIA выпустила Nemotron 3.5 Transcribe — модель с открытыми весами для обработки аудио, а также конвейер данных Granary v2. Новая система объединяет в одном чекпоинте сразу несколько функций: транскрибацию, разделение по спикерам (диаризацию), перевод и ответы на вопросы по аудио. Модель доступна на платформах Hugging Face и ModelScope и позволяет разработчикам управлять форматом вывода с помощью подсказок на естественном языке.

Контекст

Традиционно обработка сложных аудиозаписей — многоязычных звонков, быстрых встреч или медицинских диктовок — требует использования нескольких разных систем. Одна модель переводит звук в текст, другая пытается определить, кто именно говорил, третья переводит результат, а четвертая форматирует специфические термины. NVIDIA Nemotron 3.5 Transcribe призвана заменить этот сложный конвейер единым решением, которым можно управлять так же, как большими языковыми моделями (LLM) — через текстовые инструкции.

Детали

Возможности модели охватывают широкий спектр задач:

• Языковой охват: Транскрибация на 40 языках, перевод для 31 языка (на английский и с него), определение спикеров для 13 языков.
• Масштаб аудио: Обработка записей длиной до одного часа и распознавание до восьми различных спикеров.
• Архитектура: Модель использует гибридную архитектуру Mamba-Transformer со смесью экспертов (mixture-of-experts). Из 30 млрд общих параметров при обработке каждого токена активны только около 4 млрд.
• Производительность: В тестах с использованием предстоящей квантованной версии NVFP4 модель обработала 100 часов аудио менее чем за три минуты на одном графическом процессоре NVIDIA RTX PRO 6000 Blackwell Server Edition.

Модель демонстрирует высокие результаты в независимых рейтингах:

• Hugging Face Open ASR: Первое место среди моделей с открытыми весами для английского языка (средняя доля ошибок в словах, WER — 5.33%). В многоязычном треке средний WER составил 4.62% (по семи языкам), а в длинных аудио — 10.98%.
• Artificial Analysis: Разделяет первое место среди открытых моделей с показателем 2.8% AA-WER, достигая этого при 4 млрд активных параметров против 24 млрд у модели-конкурента с аналогичным результатом.
• David AI и VoiceArena: Лучшие показатели частоты ошибок диаризации (DER 18.26% по 21 языку) и cpWER (32.4% для английского языка).

Вместе с моделью NVIDIA опубликовала Granary v2 — открытый конвейер данных, использованный для обучения. Набор включает 463 062 часа аудио на 48 языках из 16 источников. Он генерирует три варианта транскрипции для каждой записи (дословную, нормализованную с запинками и без них), что позволяет модели адаптироваться к требованиям пользователя.

Анализ

Выпуск Nemotron 3.5 Transcribe показывает сдвиг индустрии от узкоспециализированных систем распознавания речи к универсальным аудио-агентам. Интеграция признаков спикера непосредственно в процесс генерации текста (с использованием механизма Sortformer) позволяет модели маркировать реплики на лету, а не пытаться сопоставить текст и голоса постфактум. Это снижает количество ошибок при наложении речи.

Кроме того, возможность адаптации через промпты (например, указание использовать специфические медицинские термины только при их наличии в аудио) делает модель гибким инструментом для корпоративного сектора. В одном из медицинских исследований дообучение модели позволило снизить WER на 45.8% по сравнению с использованием только лучшего промпта.

Перспектива

Модели с открытыми весами продолжают сокращать разрыв с проприетарными API, а в некоторых метриках эффективности (соотношение точности к числу активных параметров) уже превосходят их. С выходом квантованных версий и поддержки локального запуска (NeMo-Speech.cpp) разработчики получат возможность развертывать мощные инструменты аналитики речи непосредственно на конечных устройствах или локальных серверах, что критически важно для соблюдения конфиденциальности в таких сферах, как медицина и корпоративные коммуникации.