AGENTIC COMMONSAI 產業簡報

繁中EN

主題AI 安全與防護出版

返回文章列表

Cisco 實測 15 個封閉前沿模型:多輪攻擊無一倖免

本頁內容6 個段落
  1. 實驗怎麼設計
  2. 攻擊手法拆成五個家族
  3. 數據攤開看
  4. 一個旗標,兩種防護等級
  5. 採購與治理的可行動作
  6. 參考來源

摘要: Cisco 在 2026 年 5 月 27 日發表研究,測試五家實驗室的 15 個封閉前沿模型,結論是沒有任何模型擋得住多輪攻擊。多輪得手率介於 7.89% 至 88.30%,單輪則是 2.19% 至 64.91%。同一個 Grok 4.1 Fast 只切換推理模式,成功率就相差超過 40 個百分點。

沒有任何一個前沿模型,擋得住多輪攻擊——Cisco 的 AI 威脅研究團隊把這個結論直接寫進標題。這份 2026 年 5 月 27 日登上官方部落格的研究,全名是「Proprietary Problems: No Frontier Model Is Multi-Turn Immune」,針對五家實驗室的 15 個封閉模型,逐一比較單輪與多輪攻擊的得手機率,多輪成功率最高衝到 88.30%。

這不是茶餘飯後的話題。Cisco 在企業資安市場舉足輕重,AI Defense 與 LLM Security 排行榜都會左右企業怎麼挑模型;連它都直言「單輪分數不能代表安全」,習慣靠模型卡與公開評測做決策的採購團隊,評估流程勢必得從頭檢視一遍。

實驗怎麼設計

全場跑的是同一套框架、同一份題庫:單輪共 30,090 個提示,每個模型攤到 2,006 個;多輪則在 1,456 段對話裡總共發動 6,986 次攻擊。受測名單涵蓋 OpenAI GPT-5.2 與 GPT-5.4 兩個家族、Anthropic Claude Opus 4.5/4.6、Sonnet 4.5/4.6、Haiku 4.5、Google Gemini 3 Pro、Amazon Nova Lite、Nova Micro、Nova 2 Lite,外加 xAI Grok 4.1 Fast 的推理與非推理兩種設定。

這份報告有其前身:2025 年 11 月針對開放權重模型的「Death by a Thousand Prompts」,當時多輪攻擊對 Mistral Large-2 的得手率已經來到 92.78%。這回把對象換成封閉模型,答案照舊——多輪脆弱性是結構問題,不管開不放開源、走哪一派對齊哲學,都改變不了。

攻擊手法拆成五個家族

多輪攻擊的真面目,不是把同一個危險問題反覆貼上,而是把有害請求拆解、改造,再一輪輪加溫。Cisco 整理出五個策略家族:角色扮演、語境誤導、拒絕重構、資訊分解重組,以及漸進升級(crescendo)。帶隊的 Cisco 研究負責人 Amy Chang 講得明白:「真實的對手不會在第一次被拒絕後就停下來。」

數據攤開看

  • 十五個模型的多輪得手率介於 7.89% 至 88.30%;單輪則壓在 2.19% 至 64.91%
  • Claude 家族單輪 2.19–3.64%、多輪 11.16–16.20%,防線同樣後退,卻仍是全場最穩的一組
  • GPT-5.4 自 2.74% 衝至 24.68%,約為原來的 9 倍
  • Gemini 3 Pro 由 18.10% 竄升到 73.35%,一口氣多了 55 個百分點以上
  • 88.30% 的榜首是未開推理的 Grok 4.1 Fast;打開推理模式,數字立刻砍半成 43.47%
  • Amazon Nova 2 Lite 走反方向:單輪 34.05%,多輪反而只有全場墊底的 7.89%

十五個模型裡有過半,兩種測法之間的差距超過 15 個百分點,排出來的名次與失效地圖也各成一套。Chang 對基準測試的批評不留情面:「單輪基準分數展示的是模型在攻擊者不會使用的情境下的表現。」

一個旗標,兩種防護等級

整份研究最該記住的一處細節,是推理模式的開關:同一顆 Grok 4.1 Fast,只切換一個設定,成功率就擺盪超過 40 個百分點。這種波動在公開評測與模型卡上都找不到痕跡,等於兩個部署「相同模型」的團隊,實際安全水位可能相差一大截。這個發現也和提示注入攻擊的整體版圖對得上——近期那批用網域偽裝掩護的注入攻擊,走的同樣是繞過靜態防線的路數。

採購與治理的可行動作

Cisco 給了三條能直接執行的做法:

  • 模型每次發布,除了總分,同步公布按策略家族細分的成功率
  • 把前三大失效程序與內容類型設為部署閘門,回歸超過 3 個百分點就先擋下送審
  • 兩種測法相差逾 15 個百分點的模型一律進人工審查——套用這條規則,15 個模型裡會有 8 個上榜

法規端同樣留有缺口:NIST AI RMF、草擬中的 NIST IR 8596、EU AI Act 第 15 條,全都點名要對抗性測試,卻沒有任何一條管到「互動輪數」這個維度。Cisco 留下的結論毫不含糊:迭代攻擊之下,沒有基礎模型稱得上安全,防線只能外移——交給執行期防護、監控與應用層政策。Chang 的收尾是:「防護欄能降低風險,但不能消除風險。」

參考來源

AGENTIC COMMONS由 PHLEGON LABS 經營
分享X電郵
支持我們

相關閱讀

  1. Z.ai 發表 GLM-5.3:開源程式碼新高,網路攻擊能力超預期

    2026 年 8 月 14 日,Z.ai 發表 GLM-5.3:沿用 GLM-5.2 基座、靠後訓練把程式碼基準推上開源新高,並主動披露網路攻擊能力「發展得比我們預期更快」,授權同步轉為自訂條款。

    Open Models

  2. Redwood 首席科學家的 AI 現況快照:1.6 倍研發加速與 8% 失準事件機率

    2026 年 4 月 7 日,Redwood Research 首席科學家 Ryan Greenblatt 發表長文,估計前沿實驗室工程加速已達 1.6 倍、整體 AI 進度僅 1.15 至 1.2 倍,並給出 8% 嚴重目標偏離事件機率與 60% 半年內自主開發漏洞的機率。本文拆解數字與推論。

    AI Safety

  3. 偷走 AI 的思考:兩次 API 呼叫還原隱藏推理鏈

    德國研究團隊利用同家族較弱模型與越獄提示,兩次 API 呼叫還原加密思考區塊的推理原文;公開代理軌跡中更發現大量 API 金鑰與密碼。

    Security