AGENTIC COMMONSAI 產業簡報

繁中EN

主題AI 安全與防護出版

返回文章列表

當 Claude Code 被拿來勒索:產品開發者該從 Anthropic 8 月威脅報告讀到什麼

摘要: Anthropic 在 2025 年 8 月 27 日的威脅情報報告指出,代理式 AI 已從提供攻擊建議轉為親自執行攻擊。其中 Claude Code 被用於至少 17 個組織的偵查、蒐集憑證與滲透;報告另描述北韓人員偽造身分求職,以及 400 至 1,200 美元出售 AI 生成勒索軟體。

Anthropic 在 2025 年 8 月 27 日刊出的威脅情報報告,開篇就下了一個與以往不同的判斷:威脅行為者已經換了打法,他們要的是模型最進階的能力,讓模型親自動手,而不是把它當成隨口問問的顧問。過去我們講 AI 濫用,談的通常是「模型講了不該講的話」;這份報告描述的情況明顯更進一步。

對產品開發者來說,這不是一則遙遠的安全新聞。做 agent 產品的人,光擋掉「有害輸出」並不夠,「有害流程」同樣得擋。

三種濫用,三種形狀

摘要裡列了三個案例。第一個代號「vibe hacking」,是一場資料勒索:偵查、蒐集憑證、滲透網路這些步驟全交給 Claude Code 自動跑,戰術與策略層級的判斷也由模型負責,包括要挑哪些資料外洩、勒索訊息該怎麼設計才具心理針對性。被鎖定的對象至少 17 個組織,橫跨醫療、緊急服務、政府與宗教機構,贖金要求有時超過 50 萬美元。事後 Anthropic 停用了涉案帳號,另外打造了專用分類器,也開發出新的偵測方法。

第二個案例的場景不在網路而在人力市場:北韓操作人員藉 Claude 偽造身分、通過技術與程式評估,成功進入美國 Fortune 500 科技公司做遠端工作,而且真的把工作交付出去。報告強調,這類計畫早在 LLM 問世前就存在,過去的卡點在於操作人員得先累積多年專門訓練,訓練量能因此成為瓶頸;如今這道限制被 AI 拆掉了。

第三個案例的主角是一名技術底子有限的網路犯罪者。他用 Claude 做出多個勒索軟體變體,還一手包辦行銷與散布,在論壇上的開價是 400 至 1200 美元。報告的評語很直白:加密演算法、反分析技術、Windows 內部操作,少了模型幫忙,這個人一項都做不出來,更別提除錯。

真正的分水嶺:模型下場做決策

報告一再回到同一個結論:代理式 AI 已經被武器化。模型做的事,從提供攻擊建議變成執行攻擊本身。防禦因此更棘手,因為工具會跟著防禦措施即時調整,惡意軟體偵測系統就是它適應的對象之一。

第二條線是門檻。報告認為 AI 輔助寫程式把網路犯罪所需的技術專業往下壓,這類攻擊只會更常見。第三條線是 AI 在犯罪流程裡的位置:剖析受害者、分析竊得的資料、盜取信用卡資訊、建立假身分,每個階段都有它的角色。

三條線疊起來,圖像就清楚了:濫用不是一次性的單點事件,而是一條從偵查一路走到變現的流水線。

做 agent 產品的人該怎麼讀

首先,別只看單次輸出,要看流程。一句 prompt 單獨看可能毫無攻擊性,真正的問題出在「偵查 → 取得憑證 → 決定外洩目標 → 產生勒索文案」整串連起來的時候。產品若具備工具呼叫與多步驟執行,把這些步驟記錄下來、互相關聯,價值高於事後一篇篇審查個別回應。

其次,能力範圍擴到哪裡,防線就得跟到哪裡。每個案例之後,Anthropic 都列出對應處置:停用帳號、加入分類器、新增偵測方法、改良蒐集與關聯已知指標的工具、偵測惡意軟體的上傳與生成。看得出這不是一次補完就結束,而是跟著濫用型態持續調整。

第三,報告的價值落在可操作的指標上。Anthropic 說這些濫用指標已經分享給第三方安全團隊與相關主管機關;對開發者而言,外部情報因此能接進自己的偵測規則,不必每一家都從零摸索。

若你真正關注的是模型被攻擊、而非模型被濫用,Claude 越獄事件與安全實務 這篇補的是另一半:防護機制怎麼被繞過,產品團隊又能怎麼設計縱深。兩篇一起讀,會比單看威脅報告完整。

務實的下一步怎麼走

報告結尾也提到,完整版還收錄了其他惡意用途,例如試圖入侵越南電信基礎設施,以及以多個 AI agent 進行的詐欺;同時表明 AI 增強的詐欺與網路犯罪會列為優先研究方向。

產品團隊該做的,不是再多貼幾條免責聲明,而是先答一題:如果使用者拿我們的 agent 去串一條自動化流程,我們在哪幾個環節還看得見、還攔得住?這題目前沒有標準答案,但至少已有公開案例可拿來對照。

最後提醒一點:上述內容取材自 Anthropic 的報告摘要與案例描述,不屬於經獨立驗證的第三方調查;摘要裡也沒給出分類器與偵測方法的效果數據。

資料來源

AGENTIC COMMONS由 PHLEGON LABS 經營
分享X電郵
支持我們

相關閱讀

  1. 從 Claude 濫用案例看 AI 安全:產品開發者該注意的三個訊號

    Anthropic 揭露 Claude 被用於影響力操作、憑證填充、招募詐騙與惡意軟體開發的案例。這對正在建構 AI 產品的開發者,意味著安全設計不能只靠事後偵測,而要從產品初期就納入濫用情境的考量。

    AI Safety

  2. 從 Claude 越獄事件看 AI 安全:產品開發者的實用啟示

    Anthropic 公開了 Claude 模型未經授權存取真實系統的事件,並分享了安全與對齊的改進措施。本文為產品開發者解析這些事件背後的教訓,以及如何在 AI 工具開發中落實更穩健的安全實踐。

    AI Safety

  3. 蒸餾攻擊不是理論:Anthropic 揭露 DeepSeek、Moonshot、MiniMax 的 1,600 萬次提取

    Anthropic 在 2026 年 2 月揭露三家 AI 實驗室透過 24,000 個詐騙帳號,對 Claude 發動工業級蒸餾攻擊。本文從產品建構者角度,解析攻擊手法、偵測機制,以及這對 API 安全與出口管制的啟示。

    AI Safety