資料中心Scale-Up高速互連朝向開放產業生態演進
Data Center Scale-Up High-Speed Interconnection is Evolving toward Open Industrial Ecosystem
- 2026/06/08
- 485
- 43
隨著LLM不斷演進，其參數量達數兆個，上下文視窗達百萬級Token水準，使得模型難以安裝在單一GPU上，這意味著模型必須被分割成較小的區塊，並跨多個GPU平行運算處理。除了繼續提升GPU效能，或採用TPU、LPU、NPU等AI加速器提高模型的運行效率，亦可以將多個GPU或其他AI加速器經由高速互連形成AI叢集的大型網絡，包含Scale-Up、Scale-Out和Scale-Across，進而增強AI平行運算處理的能力。雖然Scale-Out和Scale-Across是擴展資料中心AI叢集不可或缺的方法，但面對龐大的AI模型訓練和推論需求，近年來各大廠較著重在Scale-Up的發展，藉此大幅提升頻寬以及降低延遲，並朝向開放產業生態演進，例如NVLink Fusion、UALink、ESUN、OCI MSA、CXL等。
【內容大綱】
- 一、全面提升資料中心AI叢集，強化工作負載管理
- 二、NVLink Fusion：從完全封閉轉向授權開放
- 三、UALink：建立AI加速器高速互連的開放標準
- 四、ESUN：優化乙太網提升Scale-Up性能
- 五、OCI MSA：推動光學Scale-Up互連標準
- 六、CXL：基於PCIe的開放式記憶體高速互連
- IEKView
【圖表大綱】
- 圖一、資料中心高速互連主要型態