摘要： Cohere 於 2026 年 10 月 22 日宣布，Confidential Computing on Cohere Model Vault 進入公開 beta，跑在 Microsoft Azure 的 NVIDIA 機密 GPU 上。目標不是單純把推論加密，而是縮小客戶必須信任的基礎設施範圍，並在敏感資料送出前提供可驗證的密碼學證據。對要在受規管產業部署 LLM 的產品團隊來說，這是把「信任廠商」變成「驗證環境」的具體一步。
為什麼機密運算不能只做在 CPU
機密運算保護的是「使用中的資料」，靠兩個特性：isolation 用硬體強制保護工作負載記憶體；attestation 產生簽署過的環境證據，讓對方在釋出資料前先評估。特權存取主機，不再自動等於能讀取機密環境裡的工作負載。
但推論的大量運算在 GPU 上。如果只保護 CPU，敏感的中間狀態在運算搬到 GPU 的那一刻就暴露了。NVIDIA 的機密運算把保護延伸到 GPU 記憶體，並加密 CPU 與 GPU 之間的通訊，讓機密邊界涵蓋整個執行推論的環境。我在之前介紹 NVIDIA 硬體級 AI 安全時也提過這條路線（見該文），Cohere 的做法是把這些底層能力包成受管理的模型服務，客戶不必自己組裝。
三層控制怎麼組起來
Model Vault 圍繞一個專屬模型部署，疊了幾層控制：
- 機密執行：OS、驅動、推論伺服器跑在機密 VM 內，受硬體隔離保護，營運者沒有互動式進入工作負載的路徑。
- 加密請求本體：TLS 只保護連線，不保證中介層都在明文路徑之外。Model Vault 用 Oblivious HTTP（OHTTP）把請求內容加密到機密環境的公開金鑰，只有環境內的 gateway 持有私鑰。中介基礎設施仍能路由流量，但讀不到應用層內容，客戶端 API 格式也不必改。
- 遠端證明：環境產出涵蓋硬體、韌體、軟體量測的簽署證據，客戶端對照核准的政策驗證，不符就拒絕送出請求。
第三層最關鍵。Cohere 的說法是，證據回答「實際跑的是什麼環境」，政策回答「我願不願意把資料交給它」。驗證不通過時，敏感請求留在客戶自己的環境裡——證明從稽核文件變成主動的安全控制。
它保護什麼、不保護什麼
值得肯定的是，Cohere 明確講出剩餘的信任邊界。硬體、韌體、量測基準、證明基礎設施仍在信任範圍內，只是從廣泛的隱式信任，換成一組較小、可量測的元件。
同樣重要的是不保護的部分：實體與側通道攻擊仍在界外；無法讀取工作負載的營運者仍可能讓它停擺，可用性不在保證範圍；prompt injection 這類應用層風險不會因為放進機密硬體就消失；請求時間、訊息大小、路由資訊等 metadata 仍然可見，API 憑證與模型識別碼也刻意留在 OHTTP 保護之外。Cohere 也強調這不是資料落地機制、不是合規控制的替代品，也與同態加密無關——模型在受保護環境內仍操作明文。
對 builder 的實務意義
如果你在金融、醫療或公部門場景評估託管 LLM，Model Vault 這類設計把談判焦點從「我們相信廠商」轉成「廠商端跑的是否符合我們核准的設定」。這與 Cohere 一貫的企業取向一致——從小型開源模型到檢索評測（如 RCP-nDCG@10）都在補企業採用的缺口。
下一步很實際：公開 beta 階段，值得用真實的 attestation 政策跑一次驗證流程，確認客戶端在 GPU 未進入機密模式時確實會拒送。Cohere 表示基於 Kata Containers 與 Confidential Containers 等開源技術打造，並打算開源機密推論堆疊——驗證邏輯若能被安全研究者檢視，「verify before you trust」才有實質意義。