美光HBM設計架構專家在Hot Chips 2026揭露，AI加速器運算效能每兩年約提升3倍，但高頻寬記憶體（HBM）頻寬成長不足2倍，記憶體牆持續加劇，打破計算與記憶體界線的新架構將是破解路徑。
（前情提要：HBM 記憶體已佔 AI 晶片 63%成本，海力士、三星、美光坐收算力定價權）
（背景補充：華爾街瘋喊「美光就是下一個Nvidia」：AI記憶體荒讓美光市值一度超越Meta與特斯拉）
美光（Micron）HBM 設計架構方向專家拉古·斯里拉馬內尼（Ragu Sriramaneni）於美西時間 8 月 23 日在美國史丹佛大學舉行的半導體學術會議 Hot Chips 2026 上直言：「記憶體牆」不僅存在，甚至還在進一步惡化。
「記憶體牆」沒有消失，只是換了樣貌
記憶體牆指的是負責運算的晶片效能飛速成長，但負責傳輸資料的記憶體卻跟不上運算速度而產生的效能瓶頸。進入 AI 時代後，這個瓶頸非但沒有緩解，反而愈顯嚴峻。美光在 Hot Chips 2026 現場對比了計算與記憶體之間的成長鴻溝：AI 加速器的運算效能每兩年約提升 3 倍，但承擔資料供給的 HBM 同期頻寬成長卻不到 2 倍。
兩者之間的差距愈拉愈大，就算運算能力再強，如果傳輸通道不夠寬，最終效能仍會被通道速度所影響。美光以此說明，記憶體技術已成為限制 AI 系統表現的核心因素。
HBM 成為計算與記憶體之間的橋梁
美光把 HBM 定位為連線計算單元與記憶體、支撐 AI 效能的橋。依其 官方產品頁 定義，HBM 是專為 AI 與高效能運算設計的高頻寬記憶體技術，以堆疊多層 DRAM 晶片的方式，在有限空間換取更大的頻寬與容量。美光舉例，一顆典型加速器若搭配 8 個 12 層高的 HBM4，整包記憶體晶片面積可達本體晶片面積的 8 倍以上。
HBM 能在不大幅增加外形尺寸的前提下拉高頻寬，關鍵在於它把記憶體直接與加速器整合成系統級封裝（SiP），而非傳統分離式插槽模組。從 HBM3E 到 HBM4，每一代的資料率與堆疊高度都在進步，HBM3E 每個 DRAM 晶片有 128 個群片，HBM4 更翻倍到 256 個。
頻寬代價：矽成本約 3 倍於 DDR5、散熱與可靠度挑戰
速度不是免費的。美光指出，在同樣容量下提供 HBM3E 效能，包含設計架構、先進封裝與製造複雜度在內的總體開銷，所消耗矽面積約是 DDR5 的 3 倍。這也解釋了為何記憶體在 AI 系統建置成本中的佔比愈來愈高，先前動區即報導，HBM 目前已佔單顆 AI 晶片記憶體成本逾 6 成。
除了成本，還有可靠度難題。美光指出，異質整合下晶片與散裝材料因熱擴張係數不匹配而受測，ECC（除錯碼）覆蓋從 HBM3 起分為系統層與晶片層兩層。加上 AI 工作負載增加、堆疊更高，散熱成為更嚴峻挑戰。
打破計算與記憶體界線，下一代的破解路徑
面對愈來愈難逼近的記憶牆，美光的結論與外界期待一致：翻過記憶牆的關鍵不在單一顆晶片，而在於打破計算單元與記憶體之間的邊界、走向全新架構設計。未來系統不是「算力」與「記憶體」分開的兩套硬體，而是把記憶體更深層嵌進運算流程，透過 SiP、光學連結與更先進封裝（如 CoWoS-L、CoWoS-R）逐步模糊兩者界線。
這條路線對臺灣供應鏈也有深刻意涵。HBM 高度依賴先進封裝與玻璃基板技術，正好切入臺灣半導體業者擅長的 CoWoS 封測路線；AMD、NVIDIA 等晶片業者近年逐步將封裝需求交給臺系合作夥伴。美光在 Hot Chips 2026 揭開的記憶體藍圖，或許正是下半年 AI 硬體戰線從「算力軍備」轉向「記憶體戰」的訊號。
📍相關報導📍
HBM 記憶體已佔 AI 晶片 63%成本，海力士、三星、美光坐收算力定價權
