Модели

NVIDIA представила Nemotron 3.5 Transcribe: открытая модель для транскрибации и анализа аудио

Новая модель с открытыми весами объединяет распознавание речи, перевод, разделение по спикерам и ответы на вопросы по аудио, позволяя управлять результатом через текстовые подсказки.

Обновлено:
3 мин чтения
NVIDIA представила Nemotron 3.5 Transcribe: открытая модель для транскрибации и анализа аудио

Главное за 30 секунд

NVIDIA выпустила единую открытую модель, которая заменяет сложные конвейеры обработки аудио, позволяя управлять транскрипцией, переводом и диаризацией с помощью естественного языка.

  • Модель поддерживает транскрибацию на 40 языках, перевод на 31 язык и определение до 8 спикеров на 13 языках.
  • Использует архитектуру смеси экспертов: около 4 млрд активных параметров из 30 млрд общих.
  • Достигает 5.33% WER на английском языке в рейтинге Hugging Face Open ASR.
  • Способна обработать 100 часов аудио менее чем за 3 минуты на одном GPU Blackwell.

Неочевидное: Внедрение текстовых инструкций (промптов) в модели распознавания речи стирает границу между традиционным ASR и большими языковыми моделями, позволяя на лету адаптировать форматирование текста под специфические нужды бизнеса.

Суть

Компания NVIDIA выпустила Nemotron 3.5 Transcribe — модель с открытыми весами для обработки аудио, а также конвейер данных Granary v2. Новая система объединяет в одном чекпоинте сразу несколько функций: транскрибацию, разделение по спикерам (диаризацию), перевод и ответы на вопросы по аудио. Модель доступна на платформах Hugging Face и ModelScope и позволяет разработчикам управлять форматом вывода с помощью подсказок на естественном языке.

Контекст

Традиционно обработка сложных аудиозаписей — многоязычных звонков, быстрых встреч или медицинских диктовок — требует использования нескольких разных систем. Одна модель переводит звук в текст, другая пытается определить, кто именно говорил, третья переводит результат, а четвертая форматирует специфические термины. NVIDIA Nemotron 3.5 Transcribe призвана заменить этот сложный конвейер единым решением, которым можно управлять так же, как большими языковыми моделями (LLM) — через текстовые инструкции.

Детали

Возможности модели охватывают широкий спектр задач:

  • Языковой охват: Транскрибация на 40 языках, перевод для 31 языка (на английский и с него), определение спикеров для 13 языков.
  • Масштаб аудио: Обработка записей длиной до одного часа и распознавание до восьми различных спикеров.
  • Архитектура: Модель использует гибридную архитектуру Mamba-Transformer со смесью экспертов (mixture-of-experts). Из 30 млрд общих параметров при обработке каждого токена активны только около 4 млрд.
  • Производительность: В тестах с использованием предстоящей квантованной версии NVFP4 модель обработала 100 часов аудио менее чем за три минуты на одном графическом процессоре NVIDIA RTX PRO 6000 Blackwell Server Edition.
Также по темеОрганизация памяти ИИ-агентов: как «сновидения» помогают моделям Claude обучаться

Модель демонстрирует высокие результаты в независимых рейтингах:

  • Hugging Face Open ASR: Первое место среди моделей с открытыми весами для английского языка (средняя доля ошибок в словах, WER — 5.33%). В многоязычном треке средний WER составил 4.62% (по семи языкам), а в длинных аудио — 10.98%.
  • Artificial Analysis: Разделяет первое место среди открытых моделей с показателем 2.8% AA-WER, достигая этого при 4 млрд активных параметров против 24 млрд у модели-конкурента с аналогичным результатом.
  • David AI и VoiceArena: Лучшие показатели частоты ошибок диаризации (DER 18.26% по 21 языку) и cpWER (32.4% для английского языка).

Вместе с моделью NVIDIA опубликовала Granary v2 — открытый конвейер данных, использованный для обучения. Набор включает 463 062 часа аудио на 48 языках из 16 источников. Он генерирует три варианта транскрипции для каждой записи (дословную, нормализованную с запинками и без них), что позволяет модели адаптироваться к требованиям пользователя.

Анализ

Выпуск Nemotron 3.5 Transcribe показывает сдвиг индустрии от узкоспециализированных систем распознавания речи к универсальным аудио-агентам. Интеграция признаков спикера непосредственно в процесс генерации текста (с использованием механизма Sortformer) позволяет модели маркировать реплики на лету, а не пытаться сопоставить текст и голоса постфактум. Это снижает количество ошибок при наложении речи.

Кроме того, возможность адаптации через промпты (например, указание использовать специфические медицинские термины только при их наличии в аудио) делает модель гибким инструментом для корпоративного сектора. В одном из медицинских исследований дообучение модели позволило снизить WER на 45.8% по сравнению с использованием только лучшего промпта.

Перспектива

Модели с открытыми весами продолжают сокращать разрыв с проприетарными API, а в некоторых метриках эффективности (соотношение точности к числу активных параметров) уже превосходят их. С выходом квантованных версий и поддержки локального запуска (NeMo-Speech.cpp) разработчики получат возможность развертывать мощные инструменты аналитики речи непосредственно на конечных устройствах или локальных серверах, что критически важно для соблюдения конфиденциальности в таких сферах, как медицина и корпоративные коммуникации.

Источник:Huggingface

Читать дальше