摘要： Ai2 於 2026 年 4 月 7 日開源 WildDet3D，可從普通 RGB 照片輸出含位置、尺寸與朝向的公制 3D 偵測框，且不需要深度感測器或特定相機調校。隨附資料集超過 100 萬張影像、370 萬組驗證標註，並在 Omni3D 文字提示下取得 34.2 AP。
Allen Institute for Artificial Intelligence（Ai2）在 2026 年 4 月 7 日發表了開源模型 WildDet3D：餵它一張再普通不過的 RGB 相片，它便交回畫面裡各個物體的 3D 偵測框——位置、尺寸、朝向一應俱全，且全數以公制座標表示。整個流程用不上深度感測器，也不必為特定相機重新調校。模型權重、訓練程式碼、資料集、技術報告，全部對外公開。
機器人、AR 與空間運算都離不開單目 3D 偵測，但這項能力長年掌握在一個個專用模型手裡——資料集一換、相機一換，就得從頭再訓一次。WildDet3D 的野心，是把它升級成「詞彙開放、提示多樣、相機不拘」的基礎模型，讓 3D 偵測像 2D 偵測那樣拿了就用。
單張照片，換回一組 3D 偵測框
就架構而言，WildDet3D 分成三塊。打頭陣的是 2D 偵測器，以 SAM3 視覺骨幹為底，接受文字查詢、點擊位置與既有 2D 框三種提示。第二塊是幾何模組：DINOv2 編碼器保持凍結，外掛一個可訓練的深度解碼器；解碼器藉球諧函數把相機射線方向編碼進模型，傳統上必備的相機標定分支因此可以整個省略。第三塊是 3D 偵測頭，經交叉注意力將 2D 偵測結果與深度特徵融合，輸出最終的 3D 框。
訓練成本同樣被壓到很低：整套模型 12 個 epoch 就訓得完，先前的單目 3D 偵測方法則往往要 80 到 120 個 epoch。對準備拿自家資料微調的團隊而言，算力與人力的差距就這樣直接省下來。
提示有三種，深度隨你加
整個使用流程以「提示」為中心。想找的類別用文字描述即可（詞彙開放，不受固定清單束縛）；或者在影像上直接點選一處；又或者遞上現成的 2D 偵測框——三條路最終都會把結果抬升到 3D。由於 2D 框是一一抬升，模型也順帶具備零樣本 3D 追蹤的能力。
深度則屬選配。若手上有 LiDAR、TOF 或立體視覺得出的稀疏深度，把它納進來可以換到更高精度；缺了它模型照樣運作，只是分數遜色些。這種「有深度就用、沒有就硬算」的彈性，放到邊緣裝置與消費級相機的場景裡格外受用。
WildDet3D-Data：逾 1 百萬張影像的資料集
隨模型一起端出的 WildDet3D-Data 是另一半重頭戲：影像規模超過 1 百萬張，帶有 370 萬組通過驗證的 3D 標註，類別廣及 13,000 個以上，其中 10 萬多張影像由人工標註。影像取材自 COCO、LVIS、Objects365 與 V3Det 等既有影像集；候選標註先由五種 3D 估計方法產生，再交給視覺語言模型與人工雙道關卡過濾。
3D 資料之所以稀缺，根本原因在於標註昂貴。先跑多方法估計、再做驗證過濾的流水線，能夠批量產出「夠準」的標註，是一條務實的擴充路徑，其他 3D 任務不妨整組借鏡這套方法論。
成績單：零樣本差距拉得很開
Omni3D 測試集上，WildDet3D 以文字提示操作時取得 34.2 AP，領先 3D-MOOD 5.8；改用預測的 2D 框（oracle 設定）則達 36.4 AP，勝過 DetAny3D 2.0。一旦補入稀疏深度，兩項成績分別上探 41.6 與 45.8。
零樣本轉移的落差更是驚人。Argoverse 2 上錄得 40.3 ODS，此前最佳只有 23.8；ScanNet 上為 48.9 ODS，把前一個方法甩開 17.4。Stereo4D 上，缺少深度時僅 7.5 AP，改用真實立體深度便直上 27.7 AP。在團隊自建的 WildDet3D-Bench（700 多個類別）上，文字提示拿下 22.6 AP，基線只有 2.3；罕見類別的對比更走到 47.4 對 2.4。
開發者端的入手方式
相關資產全部循公開管道釋出：模型合集與資料集放在 Hugging Face，推論程式碼在 GitHub（4 月 21 日的更新補上完整訓練程式碼），HF Spaces 提供立刻能玩的展示，另有一款 iOS App，直接用手機鏡頭就能實測。對機器人、AR 或空間運算團隊來說，這是一個能先接進原型、再以自家場景資料微調的起點——訓練只要 12 個 epoch，「自己微調一版」再也不是多大的負擔。