摘要： 之江實驗室與復旦大學團隊提出的 EaPU 方法，於 2026 年 1 月 18 日獲 TechXplore 報導，可讓憶阻器神經網路訓練能耗比 GPU 低近六個數量級。它把寫入次數減少逾 99%，裝置壽命約延長一千倍。驗證涵蓋深層模擬與 180 奈米實體陣列，尚未達到 LLM 訓練規模。
一篇刊登於 Nature Communications 的研究在 2026 年 1 月 18 日獲 TechXplore 報導:由之江實驗室與復旦大學組成的團隊,提出了一套名為 EaPU(error-aware probabilistic update,誤差感知機率更新)的訓練方法。在這套方法之下,憶阻器(memristor)類神經網路的訓練能耗可以壓到比 GPU 低將近六個數量級,換句話說接近百萬倍;寫入次數同時砍掉 99% 以上,裝置壽命更拉長約一千倍。
對一個被算力與電費追著跑的 AI 產業來說,這條路線難得地選擇從硬體最底層下手:模型不動、訓練目標也不換,被重新設計的是「權重更新」——硬體上出現得最頻繁的操作——該用什麼方式執行。
EaPU 的思路:讓演算法接住硬體雜訊
問題的核心是一道根本性的落差。反向傳播預設權重更新是確定性的,能以小幅而精準的調整逐步進行;憶阻器的實際表現偏偏是隨機的——同一個電壓脈衝,每一次造成的電導變化都不相同,裝置鬆弛(device relaxation)又會使寫入誤差隨時間不斷累積。梯度就這樣被硬體雜訊直接污染,訓練表現跟著全面垮掉。
EaPU 選擇與雜訊同行,而非正面對抗。每當某一步期望的權重變化低於門檻值,演算法便放棄小幅寫入,改採另一套做法:以和期望變化量成比例的機率,施加一記「全額門檻脈衝」;機率未中,這次寫入便整個略過。就期望值而言,更新的平均幅度分毫不變,訓練性能因此守得住;實際的寫入次數卻大幅滑落——每一步需要動到的參數不到 0.1%,換算到 152 層的 ResNet 上,等於每一千個參數只發生 0.86 次寫入。
三層數字,疊出近六個數量級的能耗差
這組數據得拆成三層來讀。與先前各種憶阻器訓練方法相比,EaPU 的訓練能耗省下約 50 倍;與當時最先進的 MADEM 方法相比,省下約 13 倍;若對象換成 GPU 訓練,差距幾乎拉開到六個數量級。研究團隊說明,已有多篇研究證實憶阻器記憶體內運算在能源效率上表現突出,而寫入誤差受裝置鬆弛影響、隨時間不斷累積,過去正是效率難以發揮的主因。
寫入次數驟減還附帶一項壽命面的收穫:憶阻器能撐多久,取決於寫入循環次數;更新次數一口氣少了兩個數量級以上,裝置壽命便隨之拉長約一千倍。落到部署成本,這筆帳算得很直接——同一批硬體可以撐過更多輪訓練、服役得更久。
兩軌驗證:模擬裡的深層網路與 180 奈米實體陣列
驗證工作沿兩條線推進。模擬這一軌,團隊把最深達 152 層的 ResNet 與 Vision Transformer 放進測試,在摻有雜訊的硬體條件下,EaPU 相對標準反向傳播帶來超過 60% 的準確度改善。實體這一軌,團隊以 180 奈米製程自製了一套憶阻器陣列,用來執行影像去噪與超解析度任務,結構相似度(SSIM)分別繳出 0.896 與 0.933 的成績,與一般訓練方式相比毫不遜色,甚至更優。
這幾個數字指向同一件事:機率式更新並沒有拿準確度去交換能耗。EaPU 藉機率轉換重排了更新的幅度分布,同時讓「更新的平均值維持不變,以保證訓練性能」——整個方法之所以立得住,關鍵就在這個設計。
離 LLM 訓練還有多遠的路
落地距離得攤開來講。實體硬體上的驗證至今仍限於 180 奈米的小型陣列,處理的是影像還原,而非語言建模;模擬雖然把深層 CNN 與 ViT 都涵蓋進來,但憶阻器訓練要走到 LLM 規模,目前仍是願景而非成果。團隊自行規劃的下一步有兩個方向:把 EaPU 延伸到鐵電電晶體、磁阻式記憶體等其他記憶體技術,以及探索供 LLM 使用的訓練叢集。程式碼已經公開放在 Zenodo 上。
對基礎設施決策者而言,這類研究短期內動不了任何採購決定,但它指出了一條有別於「再堆更多 GPU」的 scaling 路徑:當訓練能耗的瓶頸卡在資料搬移與寫入,而不是計算本身,演算法與硬體的協同設計才是真正的槓桿。不妨先把 EaPU 列進觀察名單,靜候它在更大規模的模型上被復現。