摘要: Cloudflare 在 2026 年 8 月 28 日發布 BotBase for Operators,讓機器人提交具有 Waiting for review、Accepted、Rejected 狀態,也會顯示拒絕原因與修正步驟。已送出的內容可以直接修改,待審項目能取消;表單改以行為、內容用途和直接或中介營運三個面向描述機器人。自動檢查涵蓋重複項目、使用者代理字串、IP 清單、反向 DNS 和 Web Bot Auth,但個別網站主仍可自行決定是否放行。
對機器人營運者來說,把自家爬蟲或代理程式送進網站主的審核流程,長期以來都是單向的動作:送出之後就沒了下文。查不到進度、看不到被退回的理由,也沒有地方修改內容,唯一能做的就是寄信到支援信箱追問。Cloudflare 於 2026 年 8 月 28 日發布的 BotBase for Operators,就是為了補起這段落差。
提交不再石沉大海:狀態與歷史一目了然
舊版的提交表單位置在「Manage Account → Configurations」,跟整體機器人生態系沒有關聯。如今入口改到「Protect & Connect → Application Security → BotBase」,與其他信任相關工具並列。
新增的 Submission history 分頁會把該帳號底下的每一筆提交列出來,狀態標示得清清楚楚:Waiting for review、Accepted 或 Rejected。若遭到拒絕,頁面上會寫明具體原因,並提供可以直接照著做的修正步驟,而不是只丟一句「不符合規範」。當 Cloudflare 調整了某個機器人的分類歸屬時,營運者同樣能從這裡看到。
Cloudflare 團隊在文章中提到,以往營運者只能靠寄信給支援團隊才能得知審核進度,這個缺口如今已經補上。
可編輯、可取消:讓提交內容跟得上變化
機器人的識別細節並非一成不變。網站若改版,IP 清單可能被搬到新的端點;也可能原本靠 IP 允許清單放行,後來改成以 Web Bot Auth 簽章處理。以前碰上這類變動,只能把整份表單重填一次,等於建立一筆全新的條目。現在的做法是可以直接修改已經送出的內容,等待審核中的提交也能取消。
Cloudflare 強調,資訊是否準確,決定了一個機器人能否取得並保住 Verified 狀態。擁有 Verified 狀態,會讓網站主更願意依行為放行流量,不過要不要放行,最終仍由個別網站主自行決定。
三分類架構:行為、內容使用與營運角色
新的提交表單不再要求營運者把機器人塞進單一標籤,而是從三個面向描述。
第一項是機器人做什麼。這個欄位可以複選,例如建立搜尋索引、代表使用者執行動作、收集資料、訓練模型、支援 SEO 工具等。
第二項是讀取的內容會被如何使用。這與網站主在 robots.txt 中設定的 Content-Signal 模型對齊。舉例來說,網站主可以宣告 Content-Signal: search=yes, ai-train=no, use=reference,表示允許搜尋索引與參考用途,但禁止用於模型訓練。機器人申報的內容使用方式,會被拿來與這類偏好進行比對。
第三項是誰在營運。直接營運(direct)指的是營運者從自己的基礎設施把流量送出去,例如搜尋引擎建立自己的索引。中介(intermediary)則是指平台承載其他公司的流量,但並非發送請求的決策者。例如,通用 AI 助理的營運者提供基礎設施,但實際觸發請求的是另一個建構在 API 上的產品。
審核自動化:突破人力瓶頸、讓流程可擴充
Cloudflare 指出,新提交的機器人數量自 2023 年以來成長約七倍,人工審核根本跟不上。新的流程會自動跑過一連串檢查:是否與現有條目重複、使用者代理字串是否足夠精確、驗證方法是否真的有效。系統會自動抓取 IP 清單、確認反向 DNS、驗證 Web Bot Auth 簽章。
通過檢查的提交,當下就能被追蹤;需要人工介入的案例,會先標記具體原因再轉給團隊,而不是以空白佇列的形式等待。對營運者來說,這代表多數提交的處理速度比以往更快。
後續方向:從可見性走向對話
Cloudflare 將這次發布定位為可見性(visibility)的起點。接下來的目標是所有權與可觀測性(ownership and observability),讓營運者能認領機器人、管理線上目錄條目、了解網站如何對待自己的流量。更長期的目標是對話(conversation),讓機器人營運者能在證明價值的基礎上,向網站主請求放行。
這樣的方向,把一次性的提交動作轉變為持續的關係。對產品建構者而言,BotBase for Operators 示範了一個實用的模式:讓審核流程從黑箱變成可追蹤的狀態機,並以結構化分類取代模糊標籤。如果你的產品涉及爬蟲、代理程式或自動化流量,值得參考這種做法來降低與外部生態系的摩擦。
