AGENTIC COMMONSAI 產業簡報

繁中EN

主題AI 代理與工作流出版

返回文章列表

MosaicLeaks 基準:研究代理的對外查詢正在洩漏企業機密

本頁內容6 個段落
  1. 威脅模型:馬賽克效應
  2. 1,001 條多跳研究鏈長什麼樣
  3. 三項發現:提示擋不住洩漏,純任務訓練火上加油
  4. PA-DR:讓模型把隱私學起來
  5. 研究範圍的限制與後續
  6. 資料來源

摘要: ServiceNow 研究團隊於 2026 年 6 月 18 日發布 MosaicLeaks,檢驗混合私有文件與網路搜尋的研究代理會從對外查詢帶走多少機密。資料集共有 1,001 條多跳研究鏈,利用累積查詢字串的馬賽克效應拼回企業私有事實。研究顯示提示效果有限、純任務訓練會增加洩漏,而 PA-DR 在受控環境把答案與全資訊洩漏壓到 9.9%。

MosaicLeaks 這項基準由 ServiceNow 研究團隊打造,2026 年 6 月 18 日登上 Hugging Face 部落格,背後還有一篇 5 月底送進 arXiv 的同名論文。整份研究只鎖定一個疑問:深度研究代理若一邊讀私有文件、一邊搜網路,它的對外查詢會帶走多少機密?而量測出來的答案,很難讓人放心。

威脅模型:馬賽克效應

這份基準盯上的是所謂「馬賽克效應」:任何一筆網路查詢單獨看都不構成威脅,但只要攻擊者緊跟著累積下來的查詢紀錄,就能把企業的私有事實一塊塊重新拼回。設定上刻意把攻擊者的能力壓到最低——私有文件看不到,代理的推理過程也看不到,手上唯一的材料,就是代理發出去的那些查詢字串。

洩漏的判定切成三個層級,一級比一級嚴重:意圖洩漏,光是從紀錄推敲代理正在調查哪些私有問題;答案洩漏,把問題本身一併放進來,就能從紀錄裡推出答案;全資訊洩漏,即使任何提示都不給,也能講出可驗證為真的私有事實。

1,001 條多跳研究鏈長什麼樣

整個資料集共有 1,001 條多跳研究鏈:559 條歸訓練,98 條歸驗證,剩下的 344 條是測試鏈,題目落在樣本外的公司上。鏈的設計讓本地子問題與網路子問題交替出現,上一跳得到的答案會化作下一跳發查詢時非有不可的「橋接實體」。本地端文件採 DRBench 式的企業任務,網路端文件則取自 BrowseComp-Plus。

論文裡有一個具體的例子:代理先從本地文件得知 MediConn 已完成 70% 的雲端遷移、一月有個里程碑;接著為了查證資安事件,它上網搜尋微軟 2024 年一月的國家級攻擊披露。這筆查詢字串中帶上的公司名、70% 與一月,恰恰是拼出全貌所需要的碎片。代理的架構由 DRBench 改造而來,配備 Plan、Choose、Read、Resolve 四個工具,主要受測模型為 Qwen3-4B。

三項發現:提示擋不住洩漏,純任務訓練火上加油

基準跑出的結果可以整理成三點。其一,提示幫不上忙:就算補上一句「不要洩漏」,洩漏率也只從 34.0% 降到 25.5%,成功率反倒從 48.7% 萎縮到 44.5%——模型的對策是少查幾次,而不是查得更安全。其二,只衝任務表現的訓練弄巧成拙:任務導向的強化學習把成功率抬到 59.3%,洩漏率卻跟著竄到 51.7%,原因在於資訊量越足的查詢越好檢索,帶出去的東西也越多。其三,無論哪個模型家族、哪種規模,三個層級上都出現頻繁的洩漏。

PA-DR:讓模型把隱私學起來

團隊開出的藥方名為 Privacy-Aware Deep Research(PA-DR),做法由兩塊拼成:一塊是情境式任務獎勵,在同一階段、同一跳的範圍內讓各個工具呼叫互相比較後再計分;另一塊是學出來的隱私獎勵——由一個 Qwen3-4B 分類器分別為直接洩漏與馬賽克洩漏兩種風險評分,並挑較重的那一項施以懲罰。

成效對比一目瞭然:成功率落在 58.7%,比純任務訓練略遜一籌,但答案與全資訊兩類洩漏被壓到 9.9%,連完全未訓練的基線都比它高。還有個耐人尋味的細節:代理發出的查詢不減反增,變的是內容——「15%」「2024」這類容易暴露的細節全被剝除。樣本效率同樣搶眼:情境式獎勵只花約 18.3 萬個樣本,就達到純結果式強化學習得燒約 96.3 萬個樣本才換得到的約 55% 成功率。團隊把結論濃縮成一句話:「隱私沒辦法提示進去,只能訓練進去。」

研究範圍的限制與後續

作者沒有迴避研究邊界:文件是合成的、網路語料固定、只涵蓋三家公司情境、代理架構僅此一種,而且任務是多跳問答,並非開放式研究。講白一點,這是在受控環境裡做出的基準,量不到實際部署的系統。

不過,對所有把企業文件串上搜尋工具的代理產品而言,這份研究給出了頭一個可重現的洩漏量尺,也走出一條經過示範的緩解路徑。它同時點醒一件事:那份看似無害的查詢紀錄,本身就是一個攻擊面。當「檢索外部資訊」在 2026 年已是代理產品的標準配備,這道問題只會越磨越利。

資料來源

AGENTIC COMMONS由 PHLEGON LABS 經營
分享X電郵
支持我們

相關閱讀

  1. Claude 3.7 Sonnet 的「延長思考」:可調控的推理預算與可觀察的思考過程

    Anthropic 在 Claude 3.7 Sonnet 加入可開關的 extended thinking mode,並讓開發者設定 thinking budget。本文整理官方公布的設計取捨、代理能力測試與安全評估,供產品開發者參考。

    Claude

  2. Anthropic Project Fetch 第二階段:Opus 4.7 操作機器狗比人快 20 倍

    Anthropic 於 2026 年 6 月 18 日發布 Project Fetch 第二階段:Claude Opus 4.7 全自主操作機器狗,比最快人類團隊快約 20 倍、程式碼少十倍,卻仍推不動那顆海灘球。本文拆解數據、方法與社群爭議。

    Anthropic

  3. Ineffable Intelligence:放棄人類資料,讓 AI 自己發現知識

    David Silver 的新創不走 LLM 預訓練路線,改在模擬環境「熔爐」裡讓 AI 從零自學,並預測一年內交出證據。

    AI Training