淺談Nvidia Spectrum-X網路平台

在快速發展的人工智慧(AI)和雲端運算 (Cloud Computing )世界中,對高性能網路的解決方案需求非常的龐大。因此NVIDIA 推出了 NVIDIA Spectrum-X 乙太網路平台以滿足此需求。

NVIDIA Spectrum-X 概述

NVIDIA Spectrum-X 是一個專為加速 AI 工作負載 (AI Workloads) 而設計的端到端解決方案的網路平台。由於傳統乙太網路無法滿足(限制) AI 應用方面的獨特需求,因此NVIDIA開發了 Spectrum-X網路平台,以提供無與倫比的性能、可擴展性和高效率乙太網路平台。

 

Spectrum-X網路平台結合了 NVIDIA Spectrum-4 乙太網路交換器和 NVIDIA BlueField-3 DPU(Data Processing Unit),整體 AI 效能相對於傳統乙太網路提高了 1.7 倍,為 AI 工作負載提供最佳性能。它可以增強各種 AI 應用的性能和效率,包括 GPT 和 BERT LLMs、分佈式訓練、自然語言處理(NLP)、計算機視覺、高性能的模擬、數據的分析和推理應用。

NVIDIA Spectrum-4 乙太網路交換機

Spectrum-4乙太網路交換器以 Spectrum-4 ASIC 為基礎,頻寬高達 51.2 Tbps,是上一代的四倍。 它不僅是世界首款專為AI工作負載 (AI Workloads)設計的乙太網路交換平台,更將專業的高效能架構與標準乙太網路連接完美結合。

 

NVIDIA Spectrum-4 Switch提供以下功能:

1. RoCE (RDMA over Converged Ethernet) 擴充:具有獨特的RoCE增強功能,  RoCE 自適應路由(Adaptive Routing),  RoCE 效能隔離(Performance Isolation),  簡化、自動化的自適應路由(Adaptive Routing)和 RoCE 配置,  Collective 同步化

2. 在大規模的乙太網路將有效頻寬最大化

3. 低延遲(Latency)、低抖動(Jitter)

4. 可確定的性能和性能隔離(Performance isolation)

5. 全堆疊(Full-stack)和端對端優化

6. 支援網路作業系統NVIDIA Cumulus Linux (或 Open source – SONiC NOS)

Nvidia Spectrum-4 Switch Nvidia Spectrum-4 Switch

DPU Bluefield 3

NVIDIA BlueField-3 DPU 是一款用於加速資料中心的產品,主要由NVIDIA Connectx-7 (支援高達 400Gbps 的乙太網路和 InfiniBand 連接) 以及16個 ARM 核心組成。 該產品旨在提供卸載、加速和隔離多種先進的網路、儲存和安全服務,以在雲端、資料中心和邊緣運算等各種環境中,建構適用於各種工作負載的安全加速基礎架構。

Nvidia DPU Bluefield-3 Nvidia DPU Bluefield-3

NVIDIA Spectrum-X 乙太網路平台

  1. 高速網路性能: 為滿足 AI 應用的性能需求而設計,Spectrum-X 乙太網路平台提供高速網路性能,確保數據傳輸瓶頸最小化。
  2. 低延遲: 對於實時 AI 應用至關重要,Spectrum-X平台擁有低延遲,且確保快速的數據處理和傳輸。
  3. 可擴展性: 隨著 AI 模型和數據集的增長,需要可擴展的解決方案變得至關重要。Spectrum-X 乙太網路平台設計用於滿足 AI 工作負載的增加需求。
  4. 針對 AI 工作負載進行優化: 無論是 GPT 模型、BERT LLMs、分佈式訓練還是自然語言處理,Spectrum-X 乙太網路平台都旨在增強各種 AI 應用的性能和效率。
  5. 先進的網路功能: Spectrum-X 乙太網路平台配備了如 RoCE 針對 AI 的擴展、自適應路由、多租戶環境中的性能隔離和細粒度負載平衡等功能。
  6. 能源效率: 利用 Spectrum-4 ASIC 和光學創新,該平台旨在提高能源效率,降低運營成本。
NVIDIA Spectrum-4 典型數據中心部屬结構 NVIDIA Spectrum-4 典型數據中心部屬结構

NVIDIA 的 Spectrum-X 乙太網路平台代表了 AI 網路解決方案領域的重大進步。通過解決 AI 工作負載帶來的獨特挑戰並提供一系列先進功能,Spectrum-X 乙太網路平台在尋求優化 AI 操作的組織中脫穎而出。隨著 AI 繼續塑造技術的未來,像 Spectrum-X 這樣的乙太網路平台,將在確保基礎設施與進步保持同步方面發揮關鍵作用。

Nvidia 產品介紹

參考文獻

  1. Turbocharging Generative AI Workloads with NVIDIA Spectrum-X Networking Platform, Peter Rizk, https://reurl.cc/r63N81
  2. 通过 NVIDIA Spectrum Ethernet 的自适应路由加速您的网络, Gill Levy, Yonatan Piasetzky and Barak Gafni, https://reurl.cc/6QjAl5
  3. NVIDIA 推出為超大規模生成式人工智慧打造的乙太網路平台, NVIDIA CORPORATION, https://reurl.cc/Y04ZWO

You may also want to know