邁向兆位元(Terabits)時代:NVIDIA 800G/1.6T 高速網路解決方案全面解析
隨著雲端運算、人工智慧(AI)以及 5G 應用持續推進,全球資料流量正以倍數成長。傳統 200G 或 400G 架構已逐漸無法應付未來所需。資料中心正快速邁向 800Gb/s 與 1.6Tb/s(Terabits)傳輸時代,而實現這項目標的關鍵之一,就是 200Gbps 的高速數據調變技術。透過 200G PAM4 高速數據調變技術,每一個通道即可支援 200Gb/s 傳輸頻寬。PAM4(Pulse Amplitude Modulation)調變方式,透過四種不同電壓幅度表示資料,每一個符號(symbol)可承載 2 bit 資訊,相較於傳統 NRZ(Non-Return-to-Zero)調變方式,傳輸效率提升一倍。
IEEE 於 2023年成立了 P802.3dj工作小組,專責推動 800 Gb/s 與 1.6 Tb/s 次世代乙太網路標準的制定。雖然目前 200G-PAM4(IEEE 802.3dj)尚未有完整的技術細節與最終規範,但此技術已被視為實現這些高速網路的關鍵基礎之一,以下為速度與Lance 對應表。
| 每對調變速度 | ||||
---|---|---|---|---|---|
50G | 100G | 200G | |||
Ethernet 速度 | 200G | 4 | 2 | 1 | |
400G | 8 | 4 | 2 | ||
800G | N/A | 8 | 4 | ||
1.6T | N/A | 16 | 8 |
現代數位環境因 AI、高性能計算(HPC)、雲計算和新興技術(如元宇宙和物聯網)的計算需求而驅動,對頻寬(Bandwidth)的需求無止境。數據中心面臨提供更高數據吞吐量和更低延遲的壓力,NVIDIA 提供完整的 800Gb/s 與 1.6Tb/s 解決方案,包括交換器、網路卡與收發模組,全面應對高速資料中心所需,讓我們詳細的了解Nvidia 的解決方案。
NVIDIA Quantum-X800平台
型號 | Q3400-RA(4U) | Q3200-RA(2U) |
---|---|---|
高度 | 4U(177.8mm) | 2U(88mm) |
連接埠數量 | Total 144個800Gb/s 連接埠(72 個 OSFP 插槽),Support speed 400, 800Gb/s per port | Total 72個 800Gb/s 連接埠(36 個 OSFP 插槽),Support speed40, 56, 100, 200, 400, 800Gb/s per port |
交換容量 | 115.2 Tbps | 57.6 Tbps |
ConnectX-8 SuperNIC and ConnectX-8 SuperNIC
網路介面卡是為 HPC、AI 與雲端資料中心設計的高效解決方案,具備優異的頻寬、低延遲與硬體加速能力,滿足現代資料密集型應用需求。
ConnectX-8 SuperNIC 技術特性
- 支援高達 800Gb/s 的資料傳輸速率。
- 支援 1 個 800Gb XDR InfiniBand 連接埠或 2 個 400GbE 乙太網連接埠。
- 援 PCIe Gen6 up to 48 lanes介面,並向下相容於。
- 採用平面化拓撲網路(Planarized Topology Network),以實現擴展數據速率(XDR)效能。
- 支援 RDMA、RoCE、GPUDirect Storage、Direct NIC-GPU Datapath、GPUDirect RDMA、NVMe of 、In-network computing、Congestion Control、Adaptive Routing等技術。
- 提供TLS,IPsec,MACsec,GCM,mem2mem and NISP加解密演算法。
ConnectX-8 SuperNIC 技術特性
- 支援高達 800Gb/s 的資料傳輸速率。
- 支援 1 個 800Gb XDR InfiniBand 及800Gbs乙太網連接埠。
- 支援 PCIe Gen6 up to 48 lanes介面,並向下相容。
- 支援 RDMA、RoCE、GPUDirect Storage、Direct NIC-GPU Datapath、GPUDirect RDMA、NVMe of 、In-network computing、Congestion Control、Adaptive Routing等技術。
- 增加 FIPS140-3加解密演算法。
ConnectX-8 與 ConnectX-9 硬體比較表如下
| ConnectX-8 SuperNIC | ConnectX-9 SuperNIC |
---|---|---|
最大頻寬 | 800Gb/s | 800Gb/s |
介面 | PCIe Gen6 (up to 48 lanes) | PCIe Gen6 (up to 48 lanes) |
Formfactor | PCIE and OCP | PCIE and OCP |
支援協定 | XDR InfiniBand、400G Ethernet | XDR InfiniBand、800G Ethernet |
Networking Interconnect : NVIDIA LinkX的纜線和收發器提供可靠的高速連接,適用於多種網路拓撲:
1. DAC(直連銅纜):適用於公尺距離。
2. AOC(主動式光纖纜):適用於中距離連接
3. Transceivers (光學模組):包括 QSFP112、OSFP與CPO (co-packaged optics),支援 400G / 800G / 1.6T 應用。
NVIDIA Spectrum-X : 是全球首款專為 AI 工作負載量身打造的高效能乙太網路平台,結合交換器與Super NIC,專門解決傳統乙太網路在 AI 訓練與推論上所遇到的效能瓶頸。
Spectrum-X 採用 RoCE(RDMA over Converged Ethernet)無損傳輸技術,實現端對端無封包遺失,提供高效且穩定的資料傳輸環境,特別適合需要高吞吐量與低延遲的 AI 應用場景。透過自適應路(Adaptive Routing)由技術,實現負載平衡,最大化網路資源利用率,有效緩解靜態路由可能造成的壅塞。
整體而言,NVIDIA 推出的 800G 解決方案,包括高速的ConnectX-8 SuperNIC、ConnectX-9 SuperNIC、頂尖效能的收發模組,以及採用 Quantum-3 架構的交換器,正為現今及未來的資料中心與 AI 基礎建設提供強大且穩健的頻寬支援。透過導入 200G PAM4 技術,不僅有效提升成本效益,更為邁向 1.6T 時代奠定穩固基礎。NVIDIA 持續在技術創新上的投入,將在推動下一波運算應用發展與建構高效能網路環境方面,扮演關鍵推手的角色。
NVIDIA 系列產品
- Switch https://docs.nvidia.com/networking/switches/index.html
- Networking Adapters https://docs.nvidia.com/networking/adapters/index.html
- BlueField DPUs / SuperNICs & DOCA https://docs.nvidia.com/networking/dpu-doca/index.html
- Networking Interconnect https://docs.nvidia.com/networking/interconnect/index.html