AGENTIC COMMONSAI 產業簡報

繁中EN

主題開源模型與開放權重出版

返回文章列表

當實驗數據多到看不完:SAM 3 與 DINOv3 在 Genesis Mission 裡的角色

摘要: DOE 光源偵測器升級後,影像產出從每六秒一張變成每秒 100,000 張,專家標註跟不上資料速度。SYNAPS-I 以微調後的 Meta SAM 3 與 DINOv3,部署到包括 NERSC 在內的 300 張 A100 GPU,約 15 分鐘回傳語意標註的 3D volume。葡萄藤示範把每個時間點的標註從約一個月縮短到 15 分鐘,但這是特定農業題目的示範,不構成通用保證。

先撐不住的是資料量,不是設備

在美國能源部(DOE)管轄的光源與中子源設施裡,一年產出的資料已達數十 PB。Meta AI Blog 在 2026 年 7 月 21 日的文章中給了一組對照數字:偵測器升級後,從每六秒一張影像變成每秒 100,000 張。靠人力逐一分析的老方法,早已追不上這種速度。

人的問題更棘手。領域專家本就稀少,而 in-situ 實驗——化學反應或材料失效正在發生時,科學家就得當場判讀——要的是即時解讀,不是事後補做。

卡住流程的核心任務是 segmentation:把灰階 X 光影像轉成邊界標定完成、能拿來量化比較的結構圖,例如細胞壁、礦物顆粒、半導體層。依 Meta AI Blog 的描述,以往要從實驗資料萃取出有意義的結構,單一資料集常會吃掉專家數週時間。

SYNAPS-I 管線裡,兩個模型如何分工

Genesis Mission 由白宮在 2025 年底發起、DOE 主導,屬國家級計畫;SYNAPS-I 是旗下旗艦專案,由 Berkeley Lab 領軍,合作單位包括 Argonne、Brookhaven、Oak Ridge 與 SLAC,要處理的問題是讓 X 光與中子科學的資料分析,從數個月的瓶頸變成即時發現引擎。

撐起整條管線的,是兩個由 Meta 開源釋出的基礎模型:SAM 3 與 DINOv3。

  • DINOv3 是自監督視覺模型,不需人工先標註就能從原始影像學到視覺模式,強項是判斷影像裡有哪些結構、在哪裡。
  • 接著交給 SAM 3,把個別物件的邊界精準畫出來。

兩邊互補、各補對方的缺口:SAM 負責像素級邊界,DINO 負責全域脈絡,用來判斷每個結構在樣本裡的位置。SYNAPS-I 團隊以 DOE beamline 收集的科學影像微調這兩個模型,再部署到國家超級電腦設施(例如 NERSC)的 300 張 A100 GPU 上。

結果是,科學家還站在 beamline 儀器前面,就已經拿到一份重建完整、語意已標註的 3D volume。Meta AI Blog 寫的總週轉時間約 15 分鐘。

會走到開源模型這一步,原因是限制條件

對國家實驗室來說,研究發表之前,資料與 AI 模型都得留在政府自己的基礎設施上,不能放到外部的雲端服務。這代表團隊得把模型下載下來,在自己的安全環境裡微調與部署。

Meta 採取開源,正好讓這件事成立:SYNAPS-I 可以把原本以自然影像訓練的 SAM 與 DINO,改造成設計時從未納入的科學領域用途。這和把視覺模型裝進輪椅的 RAMMP 專案 是同一道問題的不同版本——模型能不能離開原廠環境,在別人的算力與資料邊界內被改造。

葡萄藤案例,還有仍未解答的部分

團隊以 Advanced Light Source 的 micro-CT 掃描資料,重建葡萄藤莖的 3D volume,自動辨識 xylem vessels(植物體內輸水的微管),並追蹤這些管子在乾旱進展下的變化。以往每個時間點的標註要花專家一個月,如今只需 15 分鐘。

有一條界線得看清楚:這是團隊針對特定農業題目做的示範,不構成通用保證。SYNAPS-I 目前集結了 60 位研究人員,橫跨五個國家實驗室,願景是讓這些設施成為「智慧發現平台」——AI 除了加快處理,也要能協助提出假設、建議下一個實驗、跨設施轉移知識。

對產品開發者來說,值得帶走的訊號不是「AI 很強」,而是這套組合:一個自監督模型負責理解、一個分割模型負責邊界、在自家基礎設施上微調、把延遲壓縮到實驗還在進行時就能給出回饋。假設你的產品同樣卡在專家標註追不上資料產生速度,這種分工方式會比直接換一個更大的模型更值得先試。

資料來源

AGENTIC COMMONS由 PHLEGON LABS 經營
分享X電郵
支持我們

相關閱讀

  1. Meta 開源 TRIBE v2:預測大腦如何回應影像、聲音與語言

    Meta FAIR 釋出 TRIBE v2,以 700 多名受試者的 fMRI 資料訓練,能 zero-shot 預測新受試者、新語言與新任務的大腦反應,解析度較同類模型高約 70 倍,模型、程式碼與展示皆以 CC BY-NC 4.0 釋出。

    Meta

  2. 森林測繪模型改版之後:產品團隊該怎麼讀「R² 從 0.53 到 0.86」

    Meta 與 WRI 發布開源 Canopy Height Maps v2,以 DINOv3 骨幹把樹冠高度預測 R² 由 0.53 提升到 0.86。

    Meta

  3. 把視覺模型塞進輪椅之後:RAMMP 專案揭露的邊緣部署取捨

    Meta 的 DINO 與 SAM 被用於匹茲堡大學 RAMMP 輔助行動平台,重點不是模型多強,而是邊緣裝置上的精度與即時性取捨。

    AI