i卡會員

生成式AI與大型語言模型快速發展，帶動AI資料中心規模持續擴大，連帶GPU、CPU、ASIC、HBM與網路設備的部署激增；AI系統的效能瓶頸也逐步由單一加速器的運算能力，延伸至晶片、伺服器、機櫃、AI叢集及資料中心之間的資料搬移與交換需求，推升高速互連成為AI基礎設施的重要技術。

本文將從Scale-Up、Scale-Out 與Scale-Across三個層次解析AI資料中心互連架構，探討主要互連技術及封閉與開放生態系的競爭，並進一步分析光電技術CPO與Optical I/O的演進。可以預見高速互連將由單純的網路傳輸技術，逐步轉變為涵蓋晶片、封裝、光電、網通與能源效率的系統級競爭。

【內容大綱】

• 一、AI資料中心互連架構以三大面向解決算力瓶頸：Scale-Up、Scale-Out與Scale-Across
  • (一)Scale-Up(單機/機櫃內垂直擴展)：由GPU互連走向異質運算整合
  • (二)Scale-Out(跨節點水平擴展)：Ethernet從網路設備走向AI運算Fabric
  • (三)Scale-Across(跨園區分散式部署)：AI Factory將網路延伸至資料中心之外
• 二、高速互連技術地圖：封閉專有vs.開放聯盟
• 三、算力引爆的物理極限：224Gbps世代高速電氣互連邁向光電融合
  • (一)短期：可插拔光模組仍是主流
  • (二)中期：LPO與CPO逐步導入交換器
  • (三)長期：Optical I/O由交換器延伸至XPU
• 四、臺灣產業建議發展方向
  • (一)由零組件製造走向AI Fabric系統整合與共同設計
  • (二)掌握矽光子與先進封裝，布局光電融合與低功耗互連
• IEKView

【圖表大綱】

• 表1、六大核心互連技術的關鍵指標