Коммутатор NVIDIA Spectrum-6: как решается проблема сетевых узких мест в гигамасштабных ИИ-фабриках

NVIDIA представила сетевую платформу Spectrum-6 с пропускной способностью 102.4 Тбит/с. Решение предназначено для объединения сотен тысяч графических процессоров в единую вычислительную систему.

Обновлено:
3 мин чтения
Коммутатор NVIDIA Spectrum-6: как решается проблема сетевых узких мест в гигамасштабных ИИ-фабриках

Индустрия искусственного интеллекта перешла в эпоху гигамасштаба (gigascale). Сегодня самые передовые ИИ-фабрики объединяют сотни тысяч графических и центральных процессоров для обучения передовых моделей и обеспечения работы автономных агентов. На этом уровне масштабирования сетевая инфраструктура перестает быть просто средством связи и становится критическим множителем вычислительной мощности.

Компания NVIDIA объявила о начале поставок Spectrum-6 — системы коммутаторов Ethernet с пропускной способностью 102.4 терабит в секунду. Это решение, обеспечивающее двукратное увеличение емкости по сравнению с предыдущим поколением, создано как часть новой вычислительной платформы NVIDIA Vera Rubin. Spectrum-6 ложится в основу следующего поколения платформы Spectrum-X Ethernet, предоставляя пропускную способность и масштабируемость, необходимые для управления ИИ-фабрикой как единым целым.

At SIGGRAPH, NVIDIA Advances Graphics and Simulation With Agentic and Physical AI

At SIGGRAPH, NVIDIA Advances Graphics and Simulation With Agentic and Physical AI

Исторически стандартный протокол Ethernet разрабатывался преимущественно для корпоративных приложений и трафика «север-юг» — передачи данных между пользователями, серверами и хранилищами. Он не был рассчитан на синхронизированные, интенсивные коммуникации, характерные для обучения масштабных нейросетей. В задачах ИИ преобладает трафик «восток-запад» — непрерывный обмен данными между тысячами ускорителей.

Коллективные вычисления требуют строгой синхронизации. Если хотя бы одно сетевое соединение работает медленно, весь процесс обучения может остановиться в ожидании данных. Платформа Spectrum-X Ethernet решает эту проблему, превращая традиционный Ethernet в высокопроизводительную масштабируемую сеть, специально спроектированную для бесперебойного снабжения данными каждого графического процессора.

С технической точки зрения чип коммутатора Spectrum-6 работает в связке с сетевыми адаптерами NVIDIA ConnectX-9 SuperNIC. Вместе с центральным процессором Vera, графическим процессором Rubin, коммутатором NVLink 6 и процессором обработки данных BlueField-4 DPU они формируют комплексную архитектуру. Spectrum-6 поддерживает как подключаемые, так и интегрированные оптические модули, а также системы жидкостного охлаждения, что повышает общую энергоэффективность дата-центра.

Изображение из источника

Изображение из источника

По данным NVIDIA, технология Spectrum-X Ethernet обеспечивает до 1.6 раза более высокую производительность в задачах ИИ по сравнению со стандартными решениями Ethernet. Сеть способна поддерживать эффективность на уровне 95% даже в развертываниях, превышающих 100 000 графических процессоров. Аппаратно-ускоренные многоуровневые топологии позволяют сократить необходимое количество коммутаторов в 1.7 раза, оптимизируя затраты на инфраструктуру.

Ведущие разработчики ИИ-инфраструктуры уже начали внедрение новой технологии. Компании CoreWeave, Microsoft, Nebius, SpaceXAI и Tesla станут одними из первых, кто использует Spectrum-6 для ускорения своих вычислительных центров. Для облачных провайдеров это означает возможность предоставлять клиентам унифицированный высокопроизводительный ресурс, сокращая время вывода новых ИИ-сервисов на рынок.

Пиковая производительность отдельного графического процессора больше не является надежным предиктором скорости работы всей ИИ-фабрики. Сегодня производительность определяется тем, насколько эффективно тысячи чипов могут работать в унисон. Интеграция программного и аппаратного обеспечения на сетевом уровне становится главным полем битвы за снижение стоимости генерации токенов и ускорение обучения базовых моделей.

Nemotron Labs: How Open Models Give Enterprises and Nations AI They Can Trust, Control and Customize

Nemotron Labs: How Open Models Give Enterprises and Nations AI They Can Trust, Control and Customize

How Open Models Are Driving AI Research

How Open Models Are Driving AI Research

How Nations Are Deploying AI for Strategic Priorities

How Nations Are Deploying AI for Strategic Priorities

TL;DR

Главное

NVIDIA выпустила сетевую платформу Spectrum-6, которая решает проблему узких мест при обмене данными между сотнями тысяч процессоров в современных дата-центрах.

Ключевые факты

  • /Пропускная способность коммутатора достигает 102.4 Тбит/с.
  • /Обеспечивается 95% эффективность сети при объединении более 100 000 GPU.
  • /Требуется в 1.7 раза меньше коммутаторов благодаря новым сетевым топологиям.

Инсайт

В индустрии ИИ фокус сместился с мощности отдельных чипов на скорость и надежность сетевых соединений между ними: один медленный канал связи способен затормозить работу всей гигантской ИИ-фабрики.

Источник:Blogs

Читайте также

Гайды по теме