摘要： 三星在 Hot Chips 2026 發表 LPDDR5X-PIM，由 Karam Hwang 說明這款以 LPDDR 為基礎的 PIM AI 推理解決方案。其封裝算力為 2.4 TOPS，八顆可達 9.6 INT8 TOPS，內部運算頻寬 614 GB/s 是外部存取的八倍。不過文章指出 PIM 存取不可快取、不可投機執行，且需隔離區域，採用門檻仍然很高。
Hot Chips 2026 的會期落在 8 月 24 日與 25 日。把整份議程翻過一遍，最集中的一條線索就是記憶體：週日的教學場把整個上午交給「如何餵飽 AI 對資料的飢渴」這個題目，HBM base die、先進封裝、3D DRAM 推理加速器輪流登場；到了週二上午的 Memory session，焦點轉到三星身上，講題毫不含糊地寫著「全球首款以 LPDDR 為基礎的 PIM AI 推理解決方案」，上台主講的是三星的 Karam Hwang。8 月 29 日，Chips and Cheese 刊出 Chester Lam 針對這顆 LPDDR5X-PIM 的深入拆解，整篇值得讀完。
LPDDR5X-PIM 怎麼運作
它的設計原則是：把乘加（MAC）運算單元搬進 LPDDR5X 顆粒，同時讓既有記憶體控制器完全不必更動：
- 一顆晶粒內含 16 個 bank，每個 bank 各自搭配一組 PIM 區塊，區塊裡有 MAC 樹與暫存器檔：1,024 位元指令暫存器（可容納最多 64 條指令）、4kbit 來源暫存器（用來存放啟動向量），以及 2kbit 縮放暫存器。
- 要啟動運算得靠特殊的列位址。對記憶體送出模式控制列就會切換狀態，操作方式更接近記憶體映射 I/O（MMIO），可在單 bank 與多 bank 兩種模式之間切換。
- 寫入動作會廣播給全部 16 個 bank，因此程式模型帶有 SIMD 的味道；Address Align Mode 則從欄位址推出來源暫存器索引，讓控制器的亂序重排不至於打亂設定。
換句話說，這不是在記憶體旁邊掛一顆 NPU，而是 DRAM 自己在外部介面完全不動的前提下，多擔起一層算術工作。
帳面數字：八倍內部頻寬
單一 PIM 區塊每個資料時脈能完成 4 次 INT8 或 FP8 乘加，若改用 4 位元權重還會再翻一倍；一整顆封裝的算力為 2.4 TOPS，8 顆疊起來則是 9.6 INT8 TOPS——大致相當於 Intel 筆電級 Meteor Lake NPU 的水準。真正該看的是頻寬：16 個 bank 的內部運算頻寬加總為 614 GB/s，恰好是外部存取 76.8 GB/s 的整整八倍。「把運算搬到資料旁邊」原本只是句口號，在這裡算術確實站得住腳——只是要付的代價，寫在下一節。
三個工程現實
拆解文章沒有停在規格表上，限制講得很白。首先，PIM 運算與一般記憶體存取無法同時進行，軟體得把 PIM 區域獨立隔離出來，交錯使用因此受限，還必須借助鎖或作業系統層級的阻擋。其次，PIM 存取一定不可快取、不可投機執行，這與 CPU 的快取、預取和亂序執行機制正面衝突。第三，PIM 區塊彼此之間沒有直接交換資料的管道。作者的判斷是：除非系統層面做出更深的變動——專用運算指令、具快取一致性的記憶體控制器，甚至類似 rep macb 的 CPU 指令——否則 PIM 的採用門檻不會降下來。
對 AI 推理硬體的意義
LLM 推理是典型的頻寬受限工作負載：搬運權重所耗的能量與延遲，往往蓋過算術運算本身，記憶體廠商之所以把運算往資料旁邊推，理由正在這裡。這次發表透露兩層訊號。第一，PIM 原本待在 HBM 與伺服器場域，如今下探到 LPDDR，說明它瞄準的是手機、筆電這類終端裝置上的離線推理。第二，TOPS 數字與 Meteor Lake NPU 同級，意味著它的定位是輔助算力，而不是取代主 NPU。對開發者來說，短期內仍屬觀察期：隔離與不可快取這類軟體模型限制，註定讓它不會是一台「透明的加速器」；在工具鏈與生態成熟以前，能拿到多少實際收益，要看個別應用有沒有辦法配合這套使用方式重新設計。