返回網站

AMD:緊密跨層整合 AI效率提升關鍵

但記憶體好貴

· 小豪葛格寫新聞

AI運算需求正以爆發速度成長,資料中心基礎設施面臨前所未有的壓力。為滿足大型模型訓練與推論的龐大需求,運算晶片、記憶體、互連技術、軟體、電力與散熱等要素必須在機櫃與資料中心層級高度協同運作,才能在不增加能源消耗的前提下,提供更強大的AI效能並改善整體擁有成本(TCO)。超微AMD近期提出最新的能源效率提升預測,展示其在系統級協同設計上的進展,並強調未來AI效率的提升將來自更緊密的跨層整合。

Section image

超微在2024至2026年間,AI能源效率預估已提升4倍,邁向2030年機櫃級 AI 訓練與推論效率提升20倍的目標。 超微/提供

AMD資深副總裁暨院士Sam Naffziger表示,下一波AI效率的突破將取決於運算晶片、記憶體、互連技術、軟體與機櫃級系統設計之間的協同最佳化。AMD預估截至2026年可達成4倍效率提升,展現整體策略的成效,並使AMD在全系統層級的進度大幅超前,朝向2030年能源效率目標快速邁進。

根據具代表性的AI訓練工作負載,AMD預期至2030年可在機櫃級能源效率上帶來兩大效益:在相同運算能力下,能源消耗可大幅下降,約兩座2030年的AMD機櫃即可提供相當於570座2024年機櫃的效能,使用階段的用電量降低20倍、碳排放強度降低28倍;另一項效益則是在相同能源消耗下,運算能力可提升20倍,以每瓦每秒浮點運算次數(FLOPs/watt)計算,能在不增加電力負擔的情況下大幅提升AI效能。

為達成此目標,AMD採用跨產品線團隊合作的系統級協同設計方式,降低效能瓶頸、提升資料傳輸效率,並改善全平台的每瓦效能,並從運算架構、製程技術、記憶體頻寬、資料傳輸、互連技術、軟體以及系統級協同設計等面向全面推進。除硬體創新,AMD也透過ROCm軟體堆疊、開放標準與與客戶合作的方式持續釋放效率潛能,協助開發者更有效率地部署AI工作負載。這些最佳化成果能同時提升大規模AI訓練與推論的表現,並在AI應用規模持續擴大時,降低每個生成Token所需的能源。