AI for Science

MIT Wave-Former:用 Wi-Fi 訊號與生成式 AI 看穿牆壁重建 3D 物體

MIT Media Lab 團隊發表 Wave-Former,結合毫米波無線訊號與生成式補形,重建完全被遮蔽的日常物體 3D 形狀,準確度較現有最佳方法提升近 20%,論文將於 CVPR 2026 發表。本文解析其原理、訓練資料策略與機器人應用。

MIT Wave-Former:用 Wi-Fi 訊號與生成式 AI 看穿牆壁重建 3D 物體 — 文章封面

3 月 19 日,MIT News 報導 Media Lab 研究團隊開發的 Wave-Former 系統:利用毫米波無線訊號(Wi-Fi 所用頻段)穿過紙箱、木板與石膏板,再交給生成式 AI 補全形狀,重建完全被遮蔽物體的 3D 外形。計畫由 Fadel Adib(MIT EECS 副教授、Media Lab Signal Kinetics 組主持人)領銜,論文《Wave-Former: Through-Occlusion 3D Reconstruction via Wireless Shape Completion》獲 CVPR 2026 接受。團隊在約 70 個日常物體上測試,重建準確度比現有最佳方法提升近 20%。

對機器人與倉儲自動化來說,這一步很關鍵:過去「感測器看不見,手臂就摸不到」的限制,第一次有系統性的解法,而且用的還是既有硬體就能發射的無線訊號。

Wave-Former 解決什麼問題

毫米波可以穿過乾牆、塑膠與紙板,並從被遮蔽的物體反射回感測器——這是「無線視覺」的物理基礎。但這條路一直有個老大難:毫米波的反射是鏡面式的,能量只朝單一方向彈開。研究員 Laura Dodds 的比喻是,感測器往往只「看見」物體的頂面,側面與底部近乎空白。此前 Adib 團隊的方法仰賴物理式解讀反射訊號,重建準確度的上限就卡在這裡。

鏡面反射與生成式補形

Wave-Former 的解法是把物理感測與生成式模型串成管線:系統先從反射訊號中提出一組「候選物體表面」,交給生成式模型補全整體形狀,再逐段修正表面,直到收斂出完整的 3D 重建。換句話說,物理感測負責梗概,生成模型負責補上缺口——Adib 把這個貢獻定位為「用 AI 終於解鎖無線視覺」。生成式補形在電腦視覺領域並不新鮮,新鮮的是把它接在無線訊號後面,並讓物理約束貫穿整條管線。

沒有大規模資料集,就自己模擬

生成模型需要大量訓練資料,但世界上不存在大規模的毫米波遮蔽物體資料集。團隊的變通作法:取用大型電腦視覺資料集,在其中嵌入模擬的鏡面反射與雜訊,把毫米波的反射物理直接「烙」進合成訓練資料。研究員 Maisy Lam 指出,若改為收集真實資料,得花上數年時間。這個做法本身值得借鑑:當感測資料稀缺時,把物理模型當成資料增強器,是繞過冷啟動問題的一條捷徑。

成效、配套系統與應用

在測試中,Wave-Former 對約 70 種日常物體(罐頭、盒子、餐具、水果)完成重建,遮蔽物涵蓋紙板、木板、乾牆、塑膠與布料,準確度較現有最佳基線提升近 20%。團隊同時發表配套系統 RISE:用單一靜態雷達加上人體移動產生的反射,把同一套思路擴展到整個房間的重建,精細度約為現有技術的兩倍。

應用面最直接的是機器人:一是可靠抓取視線外的物體,二是倉儲機器人在出貨前「隔箱驗貨」,確認箱內物品與訂單相符,減少退貨浪費。研究部分由美國國家科學基金會、MIT Media Lab 與 Amazon 資助。必須指出的另一面是:能看穿牆壁的感測能力天生自帶隱私爭議,論文沒有處理這一題,但任何實際部署都躲不掉。

參考來源

本文由 AI 協助自上述來源整理,經人工審核後發布。

分享X電郵