摘要： Cloudflare 在 2026 年 8 月 21 日發表 Bot Preference Sync，把儀表板中的 AI 機器人偏好自動寫入 robots.txt。功能涵蓋 Search、Agent 與 Training 三類流量，出版者可預設 Disallow training，混合用途爬蟲則須提供透明度才能保留搜尋。它的目標是讓聲明的政策和發布的偏好一致。
Cloudflare 在 2026 年 8 月 21 日發表 Bot Preference Sync。站長在 Cloudflare 儀表板上設定好的 AI 機器人偏好，會由這項功能自動同步進 robots.txt。它處理的麻煩不只是「少改一個檔案」那麼單純，真正的問題更根本：你公開聲明的偏好，和你實際強制執行的規則，兩邊可能互相矛盾。
當聲明與執行對不上時
Cloudflare 在公告裡提到，顧客的需求分成兩種：有人希望被搜尋引擎找到，有人想把內容嚴密保護起來。偏偏現有的好幾層機制經常各走各的——robots.txt 寫了 Disallow，後端的 enforcement rules 卻沒有真的擋下來。某些 crawler 一旦察覺這種矛盾，就會自行認定不必理會你的偏好，甚至設法繞過規則。Bot Preference Sync 要做的，是讓「你設定的政策」與「你發布出去的 robots.txt」講同一套話。
Search、Agent、Training 三類流量
針對 AI 流量的分層選項，Cloudflare 早在 2026 年 7 月 1 日就已經推出：Search、Agent、Training 三種用途各自對應 Allow、Block on pages that serve ads、Block everywhere 等選項，Training 還多一個 Disallow 可選。Bot Preference Sync 會把這些設定寫進 robots.txt，而且放在現有檔案內容的最前面，因此你原本手動加的 Disallow 不會被蓋掉。新客戶預設就是開啟；至於仍在使用舊版 managed robots.txt 的客戶，功能上線時會收到提示，請他們確認偏好。
出版者拿到不同的預設
靠廣告維生的出版網站，在這套設計裡受到特別照顧。Cloudflare 增設了一個 onboarding 選項：「I monetize from pages with ads on this domain。」勾選之後，Training 的預設值就是 Disallow，內容不會被拿去訓練模型，傳統搜尋的能見度則不受影響。至於非出版者的一般新客戶，預設不會加上任何封鎖，Search、Agent 或 Training 要不要擋，由你自己決定。
有一點要留意：Bot Preference Sync 是類別層級的政策工具，並不會讀取個別的 custom rules。要是你和某間公司有特殊協議、需要單獨開例外，隨時可以關掉同步，改回自己維護 robots.txt。
透明度變成入場條件
Cloudflare 同時對「混合用途 crawler」拉高了標準。這類 bot 把搜尋、代理與訓練全塞在單一 user agent 後面執行，網站主很難分開控制。想在「Disallow Training」的設定下不被封鎖，bot 營運者必須端出額外資訊：尊重 robots.txt 的 no training 偏好、提供讓網站主退出 AI 摘要的方法、提供 URL 層級的頁面使用可見度與搜尋指標，並證明 disallow training 不會損害傳統搜尋結果。哪些 bot 符合這些標準，Cloudflare Radar 的 AI bot transparency 區會公開追蹤；不願意配合的 crawler 拿不到任何「好處」，依然會被封鎖。
接下來的一週
Bot Preference Sync 會在接下來一週內開放給所有方案，從 Free 到 Enterprise 都在範圍內。對一般網站主來說，想把政策聲明與實際執行拉齊，這是成本最低的做法。但如果你要的不是類別層級的控制，而是一間公司一間公司處理的特例，那這個同步功能就不適合你，自己管理 robots.txt 會更實際。