摘要： Cloudflare 在 2026 年 10 月 16 日宣布一套新系統，持續評估 Verified bots 是否真的尊重網站偏好，而不是通過一次身分驗證就永久信任。系統會觀察機器人是否遵守 robots.txt、是否回應 429 限流訊號，並把這些觀察累積成可解釋的「信任帶」。對做爬蟲或經營網站的人來說，這代表 bot 的信任狀態從靜態標章變成動態紀錄。
身分驗證只回答一半問題
Cloudflare 用了一個貼切的比喻：駕照證明你是誰、你考過駕照，但不保證你之後開車守規矩。機器人也一樣——要成為 Verified Bot，需要準確簽署身分（透過 Web Bot Auth）、只做宣稱會做的事，以及不從事濫用行為。前兩項靠簽章與目錄（BotBase）解決，但第三項需要持續觀察。
他們區分了兩個概念：風險是某個瞬間的請求可能造成傷害的程度，會隨時間變動；信任則是透過長期一致的行為累積出來的。這個區分很實用——之前在 2025 年，Cloudflare 就把 Perplexity 的機器人從 Verified 清單除名，因為它存取了聲明不開放爬取的網站，被擋之後還嘗試繞過控制。
兩個核心觀察訊號
新系統初期看兩件事。第一是機器人是否遵守 robots.txt 發布的指示。Cloudflare 強調他們看的是「重複無視網站偏好的行為模式」，而不是單次違規——一次失誤可能只是 bug 或設定錯誤。判斷標準遵循 RFC 9309。他們也提醒：robots.txt 是最低規則，沒寫的部分不代表允許。
第二是收到 HTTP 429 之後的行為。429 是網站要求訪客降低請求速率的訊號，有時會附帶等待時間。機器人是減速、暫停，還是照原本的速度繼續打？持續減速會提高信任，反覆無視則降低。
對網站經營者與 bot 開發者各意味什麼
對網站經營者，這套系統和先前介紹過的 Bot Preference Sync 構成一個閉環：Preference Sync 幫你把偏好發布出去，新系統觀察機器人是否長期遵守，Bot Management 則讓你決定怎麼處理這些流量。
對 bot 開發者，這其實是個機會。如果你的爬蟲尊重偏好、回應限流，信任帶就是你能展示合規的公開紀錄。Cloudflare 計畫把這些分數公布在 Radar 上，並讓 Cloudflare 客戶自行選擇信任門檻來決定如何處理 Verified bot 流量。
還在早期
目前 Cloudflare 只在內部用這套系統建立歷史紀錄、調校觀察方式，還沒開放給所有客戶。實際效果要看信任帶的評分標準公布後夠不夠透明——「可解釋」是他們的承諾，但細節還待驗證。如果你在經營爬蟲，現在能做的具體事情很簡單：確認 robots.txt 解析邏輯正確，並且真的實作 429 的退避處理。
參考來源
在 X 上查看原貼文