AGENTIC COMMONSAI 產業簡報

繁中EN

標籤AI for Science出版

返回文章列表

MIT Wave-Former:用 Wi-Fi 訊號與生成式 AI 看穿牆壁重建 3D 物體

摘要: MIT Media Lab 團隊的 Wave-Former 發出 Wi-Fi 頻段毫米波,穿透紙箱、木板與石膏板後,用生成式 AI 補全被遮擋物品的 3D 外形。MIT News 於 3 月 19 日介紹這項獲 CVPR 2026 接收的研究,稱約 70 種日常物體的重建準確度比最佳基線高近 20%。這對機器人抓取與倉儲驗貨有實際意義,但穿牆感測也帶來論文未處理的隱私問題。

MIT News 在 3 月 19 日介紹了 Media Lab 研究團隊的最新成果 Wave-Former:這套系統主動發出 Wi-Fi 所在頻段的毫米波無線訊號,讓它穿透紙箱、木板與石膏板,抵達完全被擋住的物品並反射回來,隨後由生成式 AI 將量測結果補成完整的 3D 外形。計畫由 Fadel Adib 領軍——他是 MIT EECS 副教授,並主持 Media Lab 的 Signal Kinetics 組;論文《Wave-Former: Through-Occlusion 3D Reconstruction via Wireless Shape Completion》已獲 CVPR 2026 接收。在約 70 種日常物品上驗證時,重建準確度比目前最好的方法高出近 20%。

對機器人與倉儲自動化而言,這是關鍵的一大步:只要感測器沒看到,機械手臂便無從下手——這道長年限制首度獲得系統性的破解,而且靠的只是現有硬體本來就發得出的無線訊號。

Wave-Former 針對的難題

「無線視覺」的物理基礎在於:毫米波能穿透乾牆、塑膠與紙板,撞上被遮住的物品後,把反射帶回感測器。只是這條路始終有道老障礙——毫米波的反射屬於鏡面式,能量只會朝單一方向彈開。研究員 Laura Dodds 用比喻說明:感測器往往只「看見」物品的頂面,側邊與底部近乎一片空白。Adib 團隊先前的方法以物理方式解讀反射訊號,重建準確度的天花板便一直卡在這個環節。

以生成式補形對付鏡面反射

Wave-Former 選擇讓物理感測與生成式模型協作:反射訊號先被轉成一組「候選物體表面」,生成式模型接手補出整體形狀,表面再經過一次又一次修整,最終收斂為完整的 3D 重建。白話地說,梗概出自物理感測,缺口交給生成模型——Adib 將這項貢獻定位為「用 AI 終於解鎖無線視覺」。把生成式補形用在電腦視覺上早有先例;它的新意出現在與無線訊號結合,以及物理約束貫串整條管線的設計。

訓練資料哪裡來:自己合成

訓練生成式模型離不開大量資料,偏偏大規模的毫米波遮蔽物體資料集並不存在。團隊於是繞道而行:以既有的大型電腦視覺資料集為底,植入模擬產生的鏡面反射與雜訊,讓合成訓練資料本身「烙」著毫米波的反射物理。研究員 Maisy Lam 說明,改走真實資料收集的路,耗時要以年計。這個手法本身就值得參考:感測資料稀缺時,讓物理模型扮演資料增強器,正是閃過冷啟動問題的一條捷徑。

測試結果、配套系統 RISE 與應用

實測裡,罐頭、盒子、餐具、水果等約 70 種日常物體都成功完成重建,過程中使用的遮蔽物橫跨紙板、木板、乾牆、塑膠與布料,準確度比現有最佳基線高出近 20%。團隊還一併公開了配套系統 RISE:僅憑一台固定雷達,搭配人體走動時產生的反射,就能將同一套思路延伸到整間房間的重建,精細度約達現有技術的兩倍。

最先受惠的應用落在機器人上:其一是穩定抓取視線之外的物體;其二是倉儲機器人在出貨前「隔箱驗貨」,核對箱內物品與訂單是否一致,以減少退貨衍生的浪費。這項研究獲得美國國家科學基金會、MIT Media Lab 與 Amazon 的資助。另一面也不能不提:具備穿牆能力的感測技術,先天就牽動隱私爭議;論文本身未處理這個問題,但實際部署時誰都繞不開。

資料來源

AGENTIC COMMONS由 PHLEGON LABS 經營
分享X電郵
支持我們

相關閱讀

  1. Meta 開源 TRIBE v2:預測大腦如何回應影像、聲音與語言

    Meta FAIR 釋出 TRIBE v2,以 700 多名受試者的 fMRI 資料訓練,能 zero-shot 預測新受試者、新語言與新任務的大腦反應,解析度較同類模型高約 70 倍,模型、程式碼與展示皆以 CC BY-NC 4.0 釋出。

    Meta

  2. Genie 4 登場:DeepMind 的新一代世界模擬

    Google DeepMind 於 10 月 27 日發布 Genie 4,將互動式世界生成推向新一代,本文整理已知資訊與對開發者的意義。

    Google DeepMind

  3. 當實驗數據多到看不完:SAM 3 與 DINOv3 在 Genesis Mission 裡的角色

    美國國家實驗室把 Meta 開源視覺模型微調後部署到 300 張 A100,將一個月的標註工作壓到 15 分鐘。

    AI for Science