AGENTIC COMMONSAI 產業簡報

繁中EN

主題開源模型與開放權重出版

返回文章列表

Meta 開源 TRIBE v2:預測大腦如何回應影像、聲音與語言

本頁內容6 個段落
  1. 這個模型到底是什麼
  2. 訓練資料:逾 700 人、三種模態
  3. 兩個關鍵數字:70 倍解析度與 zero-shot
  4. 釋出清單與授權門檻
  5. 體外神經科學的用武之地
  6. 資料出處

摘要: Meta FAIR 於 3 月 26 日公開 TRIBE v2,可根據影片、聲音或文字預測 fMRI 腦區反應。模型以 700 多名健康受試者的腦造影資料訓練,能對未見過的受試者、語言與任務做 zero-shot 預測,解析度較同類模型高約 70 倍。權重、程式碼、論文與展示已公開,授權為禁止商用的 CC BY-NC 4.0。

3 月 26 日,Meta 底下的 FAIR 團隊公開了 TRIBE v2,一套專門預測人腦活動的基礎模型:餵進影片、聲音或文字,它回傳的是 fMRI 各腦區反應的預估值。訓練材料為 700 多名健康受試者的腦造影紀錄;面對從未見過的受試者、語言與任務,它不必任何額外訓練就能直接給出 zero-shot 預測,解析度也比同類模型高出約 70 倍。模型權重、訓練與評估用的程式碼、論文,連同線上展示,全部公開。

在 AI 研究者與神經科學家眼中,這一步把「體外神經科學」(in-silico neuroscience)又往前推進:要檢驗某個假說,可以先在模型上跑一輪模擬,不必再排隊預約 fMRI、招募受試者。Meta 把它形容為神經活動的「數位孿生」。

這個模型到底是什麼

TRIBE 的完整名稱是 TRansformer for In-silico Brain Experiments。就架構而言,它屬於三模態編碼模型:最先進的文字、語音、影像三種編碼器被整合進同一個 Transformer,產出的多模態特徵接著被映射到腦皮質表面,用來預測一個人看電影、聽 podcast 或讀文字當下的大腦反應,重點落在腹側視覺流與聽覺流。

前身規模小得多——曾經得獎的 Algonauts 2025 版本,只以四個人的低解析度 fMRI 訓練而成。v2 沿著同一條技術路線,放大到基礎模型的等級:先把大量受試者與刺激材料納入,再對任何新輸入給出預測。

訓練資料:逾 700 人、三種模態

訓練資料取自 700 多名健康受試者,刺激涵蓋影像、podcast、影片與文字——都是視覺、聽覺與語言三個模態的自然材料,不是實驗室裡人工設計的刺激。這樣的量級正是 zero-shot 的先決條件:模型得先看過足夠多的人與刺激組合,才可能對陌生受試者直接預測。

工程面上同樣有務實的妥協:預測值落在 fsaverage5 標準腦網格(約 2 萬個頂點),並且一律往回挪 5 秒,補償血氧動力學反應的時間差。換個說法,它掌握的是「平均大腦」的反應樣態,而非任何單一個體的完整神經活動。

兩個關鍵數字:70 倍解析度與 zero-shot

有兩個數字值得記住。其一,解析度比同類模型高出約 70 倍,模型因此分辨得出更細微的神經差異,不再只給出粗糙的腦區激活。其二,zero-shot:面對未參與訓練的新受試者、新語言、新任務,直接預測即可,重新訓練與重新校正都省了。Meta 的報告宣稱,在各種設定下它的表現都穩定勝過標準建模方法。

對研究社群來說,真正的分水嶺是 zero-shot。過去的腦編碼模型幾乎每換一個實驗就得重訓一次;唯有能直接搬到新人身上用的模型,才稱得上「模擬器」。

釋出清單與授權門檻

這一波釋出相當齊全:模型權重放在 Hugging Face(facebook/tribev2),訓練與評估程式碼放在 GitHub(facebookresearch/tribev2),另外還有 arXiv 論文,以及 aidemos.atmeta.com 上的互動展示與 Colab notebook。授權採用 CC BY-NC 4.0——研究與重製不受限,商業用途一律禁止。

授權這一環得看清楚:這是研究工具的釋出,不是產品等級的開放權重。想把模型包進商業神經介面或注意力監測產品的團隊,得另外洽談授權。

體外神經科學的用武之地

Meta 點出三類應用方向。第一,神經科學家與臨床研究者可以完全不掃描人類受試者就檢驗假說,靠計算模擬加快研究時程;第二,把大腦的運作原理回頭拿來改良 AI 系統;第三,針對侵襲數億人的神經疾病,用模擬縮短治療研究的迭代循環。NeuroscienceNews 的報導另外指出,它對腦機介面與失語症等研究也可能派上用場。

界線同樣要畫清楚:TRIBE v2 做的是編碼——預測大腦對輸入的反應——而不是解碼私人思緒。它答得了「看這段影片時,聽覺皮質大概會如何反應」,答不了「這個人在想什麼」。能否守住這條線,決定了這類模型在倫理討論裡站不站得住腳。

資料出處

AGENTIC COMMONS由 PHLEGON LABS 經營
分享X電郵
支持我們

相關閱讀

  1. 當實驗數據多到看不完:SAM 3 與 DINOv3 在 Genesis Mission 裡的角色

    美國國家實驗室把 Meta 開源視覺模型微調後部署到 300 張 A100,將一個月的標註工作壓到 15 分鐘。

    AI for Science

  2. Meta Brain2Qwerty v2:腦波轉文字達 61%

    Meta 發表 Brain2Qwerty v2:以腦磁圖搭配端到端深度學習與微調語言模型,將非侵入式腦波解碼文字的字準確率從過去的 8% 推升至 61%,並開源 v1 與 v2 的訓練程式碼。

    Meta

  3. 森林測繪模型改版之後:產品團隊該怎麼讀「R² 從 0.53 到 0.86」

    Meta 與 WRI 發布開源 Canopy Height Maps v2,以 DINOv3 骨幹把樹冠高度預測 R² 由 0.53 提升到 0.86。

    Meta