AI資料中心的記憶體需求大揭密！專家解析訓練與推論之間的差異

・ 2025 年 12 月 14 日

Bernstein分析師指出，AI資料中心在模型訓練和推論中對記憶體的需求截然不同，並預測未來技術將有助於管理這一需求。

隨著AI技術的迅速發展，資料中心的記憶體需求也隨之上升。最近，Bernstein分析師在舉辦了一場與前谷歌雲端工程師Gunjan Shah的網路研討會後，分享了他們對此議題的見解。根據分析師Mark Newman的說法，模型訓練所需的記憶體遠高於推論，因為訓練過程需要儲存模型權重、啟用值、梯度及優化器狀態等資訊，甚至中型模型在訓練期間就可能消耗約1TB的記憶體。相較之下，推論僅需暫時性張量和KV快取，對記憶體的需求則低得多。

此外，Bernstein指出，超大規模計算者（hyperscalers）對AI採用的激增感到措手不及，導致記憶體需求和價格急劇上升，進一步推高了HBM和DRAM等關鍵元件的成本。然而，該公司認為，模型架構的改進、新的量化技術以及下一代晶片應能長期幫助管理記憶體需求，支援可持續發展。

報告還提到存儲成為另一個瓶頸，由於HDD短缺，許多運營商轉向SSD。儘管SSD的成本是HDD的五到十倍，但企業願意承擔這些費用以推進其模型。此外，SSD提供的效能和效率優勢，如降低運營成本、減少電力消耗及最小冷卻需求，也使其成為受青睞的選擇。Bernstein同時提到了專用TPU，以其更低的總擁有成本、更高的每瓦特效能和出色的可擴展性而受到關注，而GPU仍然因其成熟的生態系統被廣泛應用於快速原型設計。展望未來，高帶寬快閃記憶體可能成為新重要層級，為未來的AI工作負載提供快速、非易失性的記憶體和較低的能源需求。