i卡會員

隨著AI技術快速發展，對算力需求的急遽上升使AI資料中心成為產業焦點，其透過大量使用GPU等平行運算單元的特殊硬體配置，在功能上明顯區別於傳統資料中心。

本文深入分析AI資料中心的硬體架構、產業競合與發展趨勢，其當前發展面臨的三大技術瓶頸––記憶體牆、運算牆及通訊牆，促使資料中心朝向池化架構發展；在成本結構上，固定成本與變動成本各佔約50%，以NVIDIA GPU為主的零組件成本佔比最高；儘管目前面臨GPU利用率偏低的問題，但在大型語言模型持續擴展的推動下，市場對算力的需求仍持續成長，展望未來，互連技術的突破將是解決目前技術瓶頸的關鍵，也將帶動資料中心池化架構的進一步發展。

【內容大綱】

• 一、AI資料中心在AI時代的重要性
  • (一)AI革命起因
  • (二)AI資料中心與傳統資料中心差異
  • (三)AI資料中心分類
  • (四)AI資料中心發展瓶頸
• 二、AI資料中心未來發展趨勢-資料中心池化
• 三、AI資料中心成本分析
  • (一)資本支出：共佔固定成本約80%
  • (二)折舊攤銷：佔固定成本約10%
  • (三)軟體成本：佔固定成本約10%
• 四、AI資料中心零組件成本分析
  • (一)運算單元(Compute unit)：佔零組件總成本68%
  • (二)互聯單元(Interconnection unit)：佔零組件總成本20%
  • (三)記憶體單元(Storage unit)：佔零組件總成本4%
• 五、AI資料中心收入分析
  • (一)運算單元利用率分析
• 六、AI資料中心運算單元未來產業競合趨勢
• 七、新興關鍵技術研究路線圖
  • (一)AI資料中心互聯單元(Interconnection unit)
  • (二)AI資料中心運算單元(Processing unit)
  • (三)AI資料中心記憶體單元(Storage unit)
• IEKView

【圖表大綱】

• 圖1、深度神經網路
• 圖2、GPU與CPU算力差距
• 圖3、傳統伺服器架構(左)/伺服器池化架構(右)
• 圖4、雲端伺服器池化架構
• 表1、Meta第三代資料中心硬體零組件成本(美元)
• 圖5、用戶GPU利用率分佈情況
• 圖6、AI/ML訓練任務中網絡等待時間
• 圖7、AI資料中心硬體效能擴展趨勢：算力、記憶體與互連頻寬(1999-2023)
• 表2、NVIDIA各產品在各應用領域效能預估