AGENTIC COMMONSAI 產業簡報

繁中EN

主題AI 代理與工作流出版

返回文章列表

BotBase for Operators:讓網站主與機器人營運者不再互相猜測

本頁內容6 個段落
  1. 提交不再石沉大海:狀態與歷史一目了然
  2. 可編輯、可取消:讓提交內容跟得上變化
  3. 三分類架構:行為、內容使用與營運角色
  4. 審核自動化:突破人力瓶頸、讓流程可擴充
  5. 後續方向:從可見性走向對話
  6. 參考來源

摘要: Cloudflare 在 2026 年 8 月 28 日發布 BotBase for Operators,讓機器人提交具有 Waiting for review、Accepted、Rejected 狀態,也會顯示拒絕原因與修正步驟。已送出的內容可以直接修改,待審項目能取消;表單改以行為、內容用途和直接或中介營運三個面向描述機器人。自動檢查涵蓋重複項目、使用者代理字串、IP 清單、反向 DNS 和 Web Bot Auth,但個別網站主仍可自行決定是否放行。

對機器人營運者來說,把自家爬蟲或代理程式送進網站主的審核流程,長期以來都是單向的動作:送出之後就沒了下文。查不到進度、看不到被退回的理由,也沒有地方修改內容,唯一能做的就是寄信到支援信箱追問。Cloudflare 於 2026 年 8 月 28 日發布的 BotBase for Operators,就是為了補起這段落差。

提交不再石沉大海:狀態與歷史一目了然

舊版的提交表單位置在「Manage Account → Configurations」,跟整體機器人生態系沒有關聯。如今入口改到「Protect & Connect → Application Security → BotBase」,與其他信任相關工具並列。

新增的 Submission history 分頁會把該帳號底下的每一筆提交列出來,狀態標示得清清楚楚:Waiting for review、Accepted 或 Rejected。若遭到拒絕,頁面上會寫明具體原因,並提供可以直接照著做的修正步驟,而不是只丟一句「不符合規範」。當 Cloudflare 調整了某個機器人的分類歸屬時,營運者同樣能從這裡看到。

Cloudflare 團隊在文章中提到,以往營運者只能靠寄信給支援團隊才能得知審核進度,這個缺口如今已經補上。

可編輯、可取消:讓提交內容跟得上變化

機器人的識別細節並非一成不變。網站若改版,IP 清單可能被搬到新的端點;也可能原本靠 IP 允許清單放行,後來改成以 Web Bot Auth 簽章處理。以前碰上這類變動,只能把整份表單重填一次,等於建立一筆全新的條目。現在的做法是可以直接修改已經送出的內容,等待審核中的提交也能取消。

Cloudflare 強調,資訊是否準確,決定了一個機器人能否取得並保住 Verified 狀態。擁有 Verified 狀態,會讓網站主更願意依行為放行流量,不過要不要放行,最終仍由個別網站主自行決定。

三分類架構:行為、內容使用與營運角色

新的提交表單不再要求營運者把機器人塞進單一標籤,而是從三個面向描述。

第一項是機器人做什麼。這個欄位可以複選,例如建立搜尋索引、代表使用者執行動作、收集資料、訓練模型、支援 SEO 工具等。

第二項是讀取的內容會被如何使用。這與網站主在 robots.txt 中設定的 Content-Signal 模型對齊。舉例來說,網站主可以宣告 Content-Signal: search=yes, ai-train=no, use=reference,表示允許搜尋索引與參考用途,但禁止用於模型訓練。機器人申報的內容使用方式,會被拿來與這類偏好進行比對。

第三項是誰在營運。直接營運(direct)指的是營運者從自己的基礎設施把流量送出去,例如搜尋引擎建立自己的索引。中介(intermediary)則是指平台承載其他公司的流量,但並非發送請求的決策者。例如,通用 AI 助理的營運者提供基礎設施,但實際觸發請求的是另一個建構在 API 上的產品。

審核自動化:突破人力瓶頸、讓流程可擴充

Cloudflare 指出,新提交的機器人數量自 2023 年以來成長約七倍,人工審核根本跟不上。新的流程會自動跑過一連串檢查:是否與現有條目重複、使用者代理字串是否足夠精確、驗證方法是否真的有效。系統會自動抓取 IP 清單、確認反向 DNS、驗證 Web Bot Auth 簽章。

通過檢查的提交,當下就能被追蹤;需要人工介入的案例,會先標記具體原因再轉給團隊,而不是以空白佇列的形式等待。對營運者來說,這代表多數提交的處理速度比以往更快。

後續方向:從可見性走向對話

Cloudflare 將這次發布定位為可見性(visibility)的起點。接下來的目標是所有權與可觀測性(ownership and observability),讓營運者能認領機器人、管理線上目錄條目、了解網站如何對待自己的流量。更長期的目標是對話(conversation),讓機器人營運者能在證明價值的基礎上,向網站主請求放行。

這樣的方向,把一次性的提交動作轉變為持續的關係。對產品建構者而言,BotBase for Operators 示範了一個實用的模式:讓審核流程從黑箱變成可追蹤的狀態機,並以結構化分類取代模糊標籤。如果你的產品涉及爬蟲、代理程式或自動化流量,值得參考這種做法來降低與外部生態系的摩擦。

參考來源

AGENTIC COMMONS由 PHLEGON LABS 經營
分享X電郵
支持我們

相關閱讀

  1. Cloudflare 與 OpenAI 搜尋試點:讓 AI 找到你的頁面

    Cloudflare 網路訊號讓 OpenAI 搜尋爬蟲多索引了數億個新頁面,同時降低網站不必要的抓取負載。

    Cloudflare

  2. Bot Preference Sync:Cloudflare 把 AI 機器人政策寫回 robots.txt

    Cloudflare 推出 Bot Preference Sync,把 AI 搜尋、代理、訓練的政策自動同步到 robots.txt。文章拆解運作方式、出版者預設,以及透明度要求。

    Cloudflare

  3. 把問題倒過來問:Agent Cloud 到底是為誰設計的?

    Cloudflare 在 Agents Week 開幕文把 Agent Cloud 的定義權交給 agent:與其由人類替 agent 設想需求,不如直接問 agent 本身。本文拆解 agent-native primitives 與 translation layer 的雙軌任務、五天議程主軸、ask-your-agent 實驗的 prompt 框架,以及願景文的讀法與限制。

    Agent Cloud