摘要： Cloudflare 在 2026 年 9 月 15 日推出 Disallow AI Training，把混合用途爬蟲的搜尋收錄與 AI 訓練拆成不同控制。Applebot、Googlebot 與 Bingbot 的業者已符合或承諾符合 Accountable 資格，但 Bing 的 robots.txt 支援目標要到 2027 年初。站點數據顯示封鎖搜尋爬蟲者不到 1%，啟用某種訓練阻擋機制者有 17%。
真正的難題：同一隻爬蟲身兼兩種用途
網站經營者多年來只能在兩個選項之間擇一：把內容交出去給模型訓練，或者承擔在搜尋結果裡消失的後果。Cloudflare 在 2026 年 9 月 15 日的公告中把成因點得很明白——Applebot、Bingbot、Googlebot 這類 mixed-use crawler，由同一隻爬蟲同時扛起搜尋與 AI 訓練，擋掉其中一種用途，就等於擋掉另一種。
這個取捨並非空談。Cloudflare 公布的站點數據顯示，會封鎖搜尋爬蟲的站點不到 1%，但啟用了某種阻擋訓練機制的站點有 17%。也就是說，站長大致上都覺得搜尋帶來的好處值得留住、訓練則不值得——問題在於舊有工具沒辦法把這兩件事拆開。
Disallow AI Training 實際上做了什麼
站點透過新的 Disallow AI Training 設定，在 robots.txt 上發布不願意被訓練的偏好，同時 Accountable 的混合用途爬蟲仍可繼續為搜尋收錄內容。Cloudflare 表示，Apple、Google、Microsoft 都已符合、或承諾會在指定時程內符合 Accountable 資格。
這裡的關鍵在於 Cloudflare 把爬蟲行為切成三類控制：Search（建立搜尋索引）、Training（訓練或微調模型）、Agent（使用者導向的代理，例如 chat fetch bot 與 browser-use agent），三者都在網域層級生效。Disallow AI Training 只管 Training，對 Search 與 Agent 並不適用。
另外值得注意的是，「Block」的定義已經不同了。以往 Block 與「Block on pages with ads」不會套用到混合用途爬蟲，理由是會連帶傷到搜尋；如今這兩個設定會對所有訓練爬蟲生效，混合用途爬蟲也包含在內。換句話說，若你真的要讓 Applebot、Bingbot、Googlebot 完全進不來，現在就得明確選 Block，代價是搜尋收錄也會一併停掉。
為什麼單靠 robots.txt 不夠，以及各家承諾的落差
Cloudflare 對 robots.txt 的批評很直接：指令人人都能發布，但它認不出誰在爬、也判斷不了為何而爬，更攔不住根本不甩它的爬蟲。網路層的作法則是主動發布偏好、辨識爬蟲身分、分類爬蟲意圖，再封鎖不遵守的對象，並透過 Radar 把各業者的實際行為公開出來。
各家的支援程度並不一致，這點對要下決定的團隊很重要：
- Applebot 能透過 robots.txt 的
Applebot-Extended規則退出訓練，不過目前仍沒有 URL 層級的檢視工具。 - Googlebot 以
Google-Extended退出訓練，並在 webmaster portal 提供排除生成式搜尋結果的開關，以及搜尋與 AI 摘要的指標；Google 表示 URL 層級透明化工具預計在數週內推出。 - Bingbot 目前是用
NOARCHIVEmeta tag 表達訓練偏好，Microsoft 正在建置一套機制，讓 robots.txt 的網域層級 no-training 偏好也能被遵循，目標定在 2027 年初。在那之前，選擇 Disallow AI Training 不會自動把偏好傳達給 Bing。
三家公司都表示，拒絕訓練並不會影響搜尋排名。這是一種承諾，不是你能自行驗證的結果，但至少是公開且可追蹤的說法。
對產品與工程團隊的實務意義
如果你維護的站點有廣告或訂閱收入，這次更新等於正式把「被找到」與「被訓練」拆成兩個獨立的決策。多數既有客戶不需要做任何事，設定會自動移轉；先前在 Training 選了 Block 或 Block on pages with ads 的網域，會移轉為 Disallow AI Training。新網域在 onboarding 階段會依照站點是否靠廣告營利，取得兩套預設值，之後隨時都能修改。
有兩件事目前還辦不到。第一，Disallow AI Training 沒有「只針對有廣告的頁面」的版本，因為廣告頁清單太大且變動太快，寫不進 robots.txt。第二，Agent 目前沒有對應的 Disallow 設定，因為成熟的標準指令還不存在；Cloudflare 說要等 ai-prefs 這類標準成熟後再來處理。
如果你的產品本身會呼叫外部網頁——例如檢索、摘要或代理抓取——這次的分類也提醒你，Search、Training、Agent 是三種不同的意圖，站點會分別對待。這跟我們在為代理挑選網頁搜尋 API時談到的思路一致：先定義任務與可接受的行為，再挑工具，而不是先選供應商。
下一步的觀察點是 AI Summaries。Cloudflare 認為站點層級的 yes/no 太粗糙，因為「有多少內容出現在摘要裡」和「是否出現」同等重要，目標是明年初讓站長在 Cloudflare 設定一次就能控制比例。供給的 RSS 摘要並沒有說明這個控制項的具體介面，只提到它會是對混合用途爬蟲業者的要求之一。