在高通量資料工作負載時代,NVMe 固態硬碟 (SSD) 以其極低的延遲和驚人的讀寫速度,成為高效能運算 (HPC)、人工智慧 (AI) 訓練和大規模資料庫系統的首選儲存介質。
然而,傳統的硬體或軟體 RAID 解決方案卻成為 NVMe SSD 性能發揮的瓶頸:
要如何消除上述的RAID瓶頸呢?首先讓我們先了解快速了解SSD的發展與設計趨勢
傳統的硬碟 (HDD) 和早期的 SATA SSD 均使用與 HDD 相同的基礎架構,並受限於 SATA 匯流排的速度上限(SATA III 規格最高為 6 Gbps)。
設計趨勢的核心轉變在於:
NVMe (Non-Volatile Memory Express) 協定是專門為利用 PCIe 高頻寬而設計的通訊介面和驅動程式。其設計目標是最大限度地發揮固態儲存的潛力,並提升企業級及客戶端系統的互通性。
技術特性 (Design Feature) | 帶來的效能提升 (Performance Advantage) |
|---|---|
高並行性 (High Parallelism) | NVMe 可支援高達 64,000 個 I/O 佇列 (Queues),且每個佇列上有 64,000 個項目。 |
超高頻寬 | PCIe 連接提供多通道傳輸(主流通常使用 x4 通道),頻寬遠超 SATA 介面。 |
低延遲 (Ultra-Low Latency) | NVMe 能直接與系統 CPU 進行資料傳輸,減少了中間層的轉換延遲。 |
優化效率 | NVMe 協定的設計目標是優化固態儲存的性能,提供更快速的傳輸協定。 |
GRAID SupremeRAID 是一種獨特的 Software-Defined RAID (軟體定義 RAID) 解決方案,它巧妙地在PCIe與NVMe SSD的架構下,將 NVIDIA GPU 的運算能力引入儲存層,從根本上解決了傳統 RAID 方案中 NVMe SSD 與 CPU 之間的資料吞吐量瓶頸。
GRAID 的核心原理是利用 NVIDIA GPU 中數以千計的 CUDA 核心所具備的極致大規模並行運算 (Massively Parallel Processing) 能力,專門處理 RAID 奇偶校驗的密集型運算:
優勢 | 說明 | 效益 |
|---|---|---|
極致 I/O 性能 | 實現 NVMe SSD 的全速性能。讀取和寫入速度不再受限於傳統 RAID 控制器的瓶頸。 | 在單一伺服器上實現數百萬 IOPS 和數十 GB/s 的聚合頻寬,滿足最嚴苛的 AI 訓練和資料庫需求。 |
CPU 資源釋放 | RAID 運算交給 GPU 處理,主 CPU 資源幾乎完全釋放給作業系統和應用程式。 | 提高了伺服器的整體運算效率,應用程式的運行速度和響應時間得以大幅提升。 |
靈活性與相容性 | 作為一款軟體定義的 RAID 方案,它與 NVMe SSD 品牌、各種作業系統(如 Linux)以及分散式檔案系統(如 Lustre, BeeGFS, Ceph)具有高度相容性。 | 簡化了硬體選擇,無需被特定品牌的 RAID 卡鎖定。 |
以上說明了GPU RAID如何在PCIe與NVMe SSD的架構下突破傳統RAID的效能瓶頸;
而在網路儲存架構中,網路通訊協議的性能也直接影響到遠端用戶的效率,這部分往往是最容易被忽略,需要花時間調教的部份。
過往企業的資料中心,基於Linux的儲存伺服器常使用的SMB (SAMBA)作為網路通訊協議,讓用戶端的Windows、Mac、Linux能容易的與資料中心傳輸檔案進行工作, 隨這資料量和影像解析度持續攀升的趨勢,傳統的方案已經難以負荷成長中的企業用量,在處理極高吞吐量和要求即時性的工作負載時,面臨到瓶頸。
Server Message Block (SMB) 是一種在網路節點間提供檔案、印表機及其他網路資源共享存取的網路通訊協定。SMB 協定採用客戶端-伺服器 (Client-Server) 模型,由客戶端發出請求,伺服器負責處理並回應。
SMB 協議在現代企業環境,特別是 Windows 系統為主的網路中,扮演著至關重要的角色。其核心功能包括:
Tuxera Fusion SMB 是一種專為高性能和可擴展性設計的 SMB 伺服器解決方案,特別適用於軟體定義儲存 (SDS)、HPC、雲端 PaaS 等高要求應用。透過其多執行緒 (Multi-threaded) 和模組化 (Modular) 的架構,顯著提升了 I/O 吞吐量,最大限度地減少了 CPU 使用率和記憶體佔用。
特性 | 技術細節 | 關鍵優勢與效益 |
|---|---|---|
極致效能與低延遲 | 支援 SMB 多通道 (Multi-channel)、壓縮 (Compression) 和基於 RDMA (Remote Direct Memory Access) 的 SMB Direct。 | 有效消除常見瓶頸,允許資料包完全繞過 CPU 處理,進一步降低延遲和 CPU 負載。 |
高相容性與標準支援 | 支援最新的 SMB 3.1.1 協定,並向後相容早期版本。 | 確保在各種網路環境中與 Windows 和 Mac 客戶端廣泛兼容與互通性。 |
企業級可靠性 | 提供透明容錯移轉 (Transparent Failover) 和持續可用性 (Continuous Availability) 的容錯框架。 | 即使在伺服器故障或維護期間,也能確保服務不間斷。 |
優化 macOS 客戶端 | 提供專門的 macOS 優化。 | 解決了傳統 SMB 伺服器在 Mac 工作流程中的效能問題,是媒體工作流的理想選擇。 |
Tuxera Fusion SMB在媒體和娛樂產業等對效能要求極高的領域中展現出突破性的速度:
隨著 AI、HPC 和高解析度媒體工作流對資料傳輸速度和穩定性的要求不斷提高,SMB 協定不再僅限於基礎的檔案共享。Tuxera Fusion SMB 的出現,為基於 Linux 的儲存解決方案提供了一種高性能、高可擴展性且功能齊全的 SMB 替代方案,無論是在單一伺服器、叢集、容器還是雲端環境中部署,使其成為需要超低延遲和高吞吐量的企業級應用的關鍵技術。
是針對高效能運算 (HPC)、AI 模型訓練以及高解析度媒體工作流等 I/O 密集型應用,提出的一種突破性系統效能解決方案。
在高資料量、低延遲需求的時代,傳統的網路儲存架構主要面臨兩大核心瓶頸:
傳統的網路附加儲存 (NAS) 系統,無論底層儲存速度多快,其檔案共享協定(如傳統 Linux 上的 Samba)在處理大量並行請求或極高吞吐量時,往往會因為多執行緒效率不足和CPU 負荷過重而成為限制因素。特別是,資料傳輸的延遲對於影音編輯、即時分析等工作流極為敏感。
傳統的硬體 RAID 卡依賴專用的 CPU 核心來處理冗餘運算(如 RAID 5 或 RAID 6 的奇偶校驗),這對 NVMe SSD 的極高吞吐量是一種限制。當配置多顆 NVMe SSD 時,RAID 控制器的處理能力往往跟不上 SSD 的原始 I/O 速度,導致性能被扼殺。
透過結合 Tuxera Fusion File Share SMB 和 GPU RAID 解決方案 (如 GRAID SupremeRAID),可以從網路層和儲存層同時消除上述瓶頸,實現系統整體性能的指數級提升。
GPU RAID (例如 GRAID) 的核心突破在於將 RAID 奇偶校驗運算從主 CPU 轉移到專門的 GPU 核心上。
高效能 SMB 實作(例如 Tuxera Fusion File Share SMB)能夠充分利用底層 GPU RAID 提供的超高儲存性能,並將其無瓶頸地交付給網路客戶端。
兩者的整合實現了「1+1 > 2」的協同效應:
效能指標 | 突破性成果 | Tuxera Fusion SMB 數據參考 |
|---|---|---|
高吞吐量 | GPU RAID 確保後端儲存能以極限速度讀寫,而優化的 SMB 則確保這些速度能毫無損失地交付給客戶端。 | Mac 客戶端可達 5GB/秒;Windows 客戶端可達 11GB/秒 的吞吐量。 |
低延遲 | GPU RAID 降低儲存延遲,SMB RDMA 技術降低網路延遲。 | 確保在對延遲敏感的應用(如影音編輯)中,能夠維持穩定且低延遲的體驗。 |
資源利用率 | GPU 卸載 RAID 運算,RDMA 卸載 SMB 網路處理。 | 主 CPU 負載極低,將更多核心和頻寬留給 AI 模型訓練或應用程式運算。 |
SMB 與 GPU RAID 的結合是建立在軟體定義儲存 (SDS) 基礎上,針對 I/O 瓶頸的終極解決方案。它不僅提高了儲存單元的本地性能極限,更確保了在網路環境中能夠以最高的效率、最低的延遲交付數據,從而徹底改變媒體、AI 和 HPC 的工作流程。