AI Safety

當安全標準變成入場門檻:Cohere 對 AI 規則制定權的質疑

Cohere 執行長 Aidan Gomez 質疑少數實驗室以安全之名取得反壟斷豁免,並提出四項替代原則。

當安全標準變成入場門檻:Cohere 對 AI 規則制定權的質疑 — 文章封面
本頁內容6 個段落
  1. 他真正反對的不是護欄,而是名單
  2. 兩個歷史案例,一個關於「安全」的警告
  3. 風險定義方式,會決定誰有資格參賽
  4. 他提出的四個替代支柱
  5. 對產品團隊的實際意義
  6. 參考來源

當一項技術的規則由少數幾家公司寫,其他人只能照做,這對產品團隊意味著什麼?Cohere 共同創辦人暨執行長 Aidan Gomez 在 2026 年 9 月 13 日發表的文章裡,把這個問題直接攤開:該不該讓幾家矽谷的市場主導者,替全世界定義 AI 的安全標準與推進速度。

他真正反對的不是護欄,而是名單

Gomez 明確表示 AI 需要護欄,爭議從來不在這裡。他反對的是「有一份名單」這件事本身:誰有資格寫標準、誰能參與討論、規則在保護誰的利益。

他點名 Anthropic 執行長 Dario Amodei 提出的政策路線圖,主張該方案要求政府給予反壟斷豁免,讓少數實驗室彼此協調標準與技術推進上限,再要求其他開發者一體遵循。他認為這類安排沒有公開徵詢、沒有投票,公眾卻必須承擔結果。

值得注意的是,Gomez 同意其中一部分:對高能力系統做獨立審查是好事。分歧在於審查所依據的標準由誰寫、由誰執行。

兩個歷史案例,一個關於「安全」的警告

文章用兩段歷史說明「以安全為名的市場結構」如何形成。1975 年美國 SEC 指定三家機構為全國認可統計評級組織,卻從未公布其他機構取得資格的方法;二十五年後仍然只有三家,而它們把次級房貸證券評為 AAA。

1985 年歐洲的汽車業集體豁免則是另一個版本:車廠以車輛複雜、安全攸關為由,取得制定經銷與維修資格的權力。Gomez 指出,結果不是更安全的車,而是歐洲執委會花了約二十五年才拆解這套結構。他的結論很直接:嚴格的安全標準,不必等於把符合標準的權利交給現有業者。

風險定義方式,會決定誰有資格參賽

文章裡對產品團隊最實用的一段,是關於風險如何被定義。Gomez 指出,既有框架常把風險視為規模的函數,於是擁有最大系統的公司成為唯一有資格判斷風險的人;而被認定相關的風險類型也事先被決定,而非留給科學辯論。

他舉了一個具體例子:一個原始模型的能力,與包在它外面的 harness 能造成什麼,業界其實有真實分歧。小型模型若搭配工具與驗證步驟妥善編排,可以做到大型模型做不到的事;一個 cyber swarm 的風險表面,跟單一模型完全不同。這些在以算力門檻為核心的框架裡看不到。

對正在設計 agent 工作流的團隊來說,這不是抽象爭論。你怎麼組合模型、工具與驗證步驟,本身就是風險輪廓的一部分。這也是為什麼我們先前在討論 工具呼叫迴圈的四個停損點 時,把停損條件當成工程決策而非可選項。

他提出的四個替代支柱

Gomez 強調自己不是要取代誰來制定規則,而是提出可與其他方案並陳的實務方向:

  • 以證據為基礎的風險框架:先公開界定哪些危害、哪些能力、在什麼條件下構成問題,以及政府何時該介入。這份框架應由多國共同建立、公開進行,並納入彼此立場不同的研究者,把分歧也公開。測試能力應由公共研究機構與既有產業風險管理體系出資,避免科學取決於被測公司的預算。規則應依系統「能做什麼」而非「誰做的」來約束。
  • 強制透明:開發者應說明系統如何建構、預期用途與能力、可能風險與已採取的緩解措施。Model cards 已廣泛使用,但嚴重事件的通報機制與實際問責仍可加強。
  • 依證據界定測試範圍:獨立測試應針對風險框架認定真正危險的能力與情境,例如網路攻擊、合成詐欺與語音複製、大規模操縱、實體或生化武器,以及關鍵基礎設施相關應用;而不是每個系統都測每種風險,也不該膨脹成一場比誰預算多的合規活動。
  • 文章在第四個支柱處被截斷,供應的原文未提供完整內容。

對產品團隊的實際意義

如果你的產品要賣進金融、電信、國防或公部門,這篇文章的價值不在於選邊,而在於提醒你:安全標準的形狀會直接變成採購條件。當入場要求包含龐大算力、持續監控基礎設施、專職安全組織、駐點評估團隊與關閉架構時,能滿足條件的供應商數量自然收窄。

Gomez 的批評是:這套機制在減緩所有人的同時,明確保留現有商業優勢,等於把今天的領先地位變成「安全競爭」的門檻。這是他的立場與分析,不是已確認的政策結果。

實務上可以做的,是在評估供應商與模型時,把「這套安全論述要求我具備什麼」寫進決策清單,而不只比較功能與價格。當主權 AI 與跨國採購成為選項時,這個問題會更早出現,我們在 Cohere 併 Aleph Alpha 的採購啟示 中談過類似的判斷角度。

規則由誰寫,最終會反映在你拿得到什麼、付得起什麼。這篇文章沒有給出答案,但它把問題問得夠清楚,值得在下次合規會議前先讀一遍。

參考來源

本文由 AI 協助自上述來源整理,經人工審核後發布。

這篇內容對你有幫助嗎?

支持本站繼續整理實用的 AI 文章、教學與開發筆記。

請我喝杯咖啡
分享X電郵