i卡會員

近年因大型語言模型(Large Language Model, LLM)在訓練與推論的需求大幅提升，引發資料中心AI工作負載(Workload)呈現劇烈波動，進而對不斷電系統(Uninterruptible Power Supply, UPS)以及上游電力系統(如電網和發電機)造成極大的壓力。因此，廠商在Power Rack(又稱為Sidecar)規劃配置電池備援單元(Backup Battery Unit, BBU)，以及電容備援單元(Capacitor Backup Unit, CBU)，或稱為機架式電容(Power Capacitor Shelf, PCS)、超級電容機架(Supercap Shelf)，以因應資料中心嚴峻的AI工作負載之挑戰。除BBU與CBU之外，亦觀察到有其它因應AI工作負載的解決方案，例如電源供應器(Power Supply Unit, PSU)電容性能的提升、採用中壓(Medium Voltage, MV)的UPS、軟體優化電力管理等，正在同步進行發展。

【內容大綱】

• 一、LLM訓練與推論需求引發AI工作負載劇烈波動
  • (一)動態負載週期(Dynamic Load Cycles)
  • (二)過載峰值(Overload Peaks)
• 二、Sidecar配置BBU與CBU以因應AI工作負載挑戰
• 三、提升PSU電容性能以發揮CBU功能
• 四、MV UPS吸收AI工作負載波動以穩定電力效率
• 五、以軟體優化作為資料中心AI工作負載的源頭管理
• IEKView

【圖表大綱】

• 圖一、資料中心AI工作負載行為模式
• 圖二、BBU和CBU在Sidecar的配置規劃
• 圖三、GB200 PSU與GB300 PSU在相同工作負載的電流波形比對