AGENTIC COMMONSAI 產業簡報

繁中EN

主題AI 代理與工作流出版 2026-10-12

返回文章列表AI Agents

AI 出事不再只是答錯,而是做錯:企業治理的第一步是先看見誰在用

本頁內容6 個段落
  1. 兩種極端,都是治理失靈
  2. 三種針對 AI Agent 的攻擊
  3. 比攻擊更日常的:端點上的權限盲區
  4. 「看得到、說得清、管得住、夠強韌」
  5. 給 builder 的務實讀法
  6. 參考來源

企業導入 AI Agent 之後,最麻煩的問題不是模型答錯,而是它真的去執行了錯的動作。根據 TechOrange 科技報橘與 Qualcomm 合辦的「2026 AI 智慧大工廠論壇」(2026 年 10 月 12 日報導),TeamT5 資深經理侯翔齡在演講中把這個轉變講得很直接:AI 的風險已經從幻覺轉為做錯事,而企業治理的第一步,其實跟所有資安議題一樣——先盤點。

兩種極端,都是治理失靈

侯翔齡觀察到企業對 AI 的反應常落在兩個極端:一種怕出事乾脆全面禁用,另一種積極導入卻說不清內部到底有誰在用。他引用 Gravitee 的調查指出,超過八成受訪企業已部署 LLM 或 AI 代理,但內部受到監控或防護的 AI Agent 比例低於 50%。

這個落差才是真正的風險起點。當 AI 開始串接其他系統,攻擊面就隨之擴張——看不見的使用狀況,等於把防線留了一個洞。

三種針對 AI Agent 的攻擊

侯翔齡把 AI Agent 面臨的攻擊歸納為三類:

  • 工具描述攻擊:AI 靠工具描述判斷該怎麼調用工具,描述一旦被竄改,AI 會照著錯的說明去用。
  • 工具輸出攻擊:攻擊者在執行過程中用不經意的方式誘導 AI 忘掉原本設定,把環境裡的東西交出來。
  • 技能供應鏈攻擊:Skills 和 MCP 等元件不少來自網路平台分享,只要在技能指令裡改一行,就能要求 AI 把環境資料傳給攻擊者。

第三種特別值得寫 agent 的人注意。我們之前討論過 MCP 工具該怎麼挑、怎麼打包(例如Cursor 插件把工具和判斷包在一起的思路),供應鏈攻擊正好打在這個環節上——來路不明的技能,會讓原本乾淨的 AI「學壞」。

比攻擊更日常的:端點上的權限盲區

侯翔齡提醒,更常見的風險藏在員工電腦本身。各種 AI 程式能存取本地資料、呼叫 API、執行指令;如果員工習慣把帳號密碼存在文字檔裡,再加上 AI 的長期記憶功能,機密資料就可能外洩。另一個盲點是權限過大——原本只需要查詢功能的 AI,被賦予管理者權限後,就能刪除、修改,做出使用者未預期的行為。

「看得到、說得清、管得住、夠強韌」

TeamT5 的做法是在出事前先做端點健檢:盤點作業系統與應用程式版本、檢查 CVE 漏洞,辨識哪些程式屬於 AI Agent,再檢查它們是否引用惡意技能、權限過大或存取機敏資訊。報告會詳列每台電腦上 AI Agent 的安裝路徑、時間、廠牌與版本,並附上風險高低與建議措施,平台也能自動產出全場域報告。

對應的治理框架是四個層次:先理解風險已從幻覺轉為做錯事,其次盤點這些錯誤可能觸及哪些法規與合規要求,再來掌握內部 AI 使用狀況,最後才是導入解決方案。

給 builder 的務實讀法

這套順序對開發團隊同樣適用。在替 agent 加更多工具呼叫之前,先能回答三個問題:它裝在哪、有哪些權限、引用了誰的技能。治理不是一次性導入——侯翔齡強調,管理 AI 靠的是持續的評估和檢查,不是等問題發生再來處理。

當然,這是端點防護廠商的視角,論壇演講的內容不等於涵蓋所有治理面向;對多數團隊來說,先做一次內部 AI Agent 盤點,是成本最低、也最不容易出錯的起點。

參考來源

AGENTIC COMMONS由 PHLEGON LABS 經營
分享X電郵
支持我們

相關閱讀

  1. 顧問公司開始替 agent 平台背書:Cohere 與 PwC 結盟對企業導入的意義

    Cohere 與 PwC 宣布全球聯盟、首站加拿大,把 North 平台接上顧問端的風險與治理能力,影響企業選型的分工方式。

    Enterprise AI

  2. 微軟 Cyber Pulse 報告:八成財星 500 大企業已在跑 AI 代理

    微軟首份 Cyber Pulse 報告以第一方遙測揭露:超過八成財星 500 大企業已有活躍 AI 代理,29% 員工用過未經核准的代理。報告提出對代理套用零信任與五項治理能力,把可觀測性推上企業資安議程首位。

    Cybersecurity

  3. 先蒐證、後推理:Cloudflare 把安全告警調查做成一套 agentic harness

    Cloudflare 在 Cloudflare Managed Defense 用固定偵察快照、四個專家 agent 和證據驗證機制,把安全告警調查交給 agentic harness。

    Cloudflare