Cloudflare 定 2026/9/15 爬蟲預設
Cloudflare 宣布將在 2026 年 9 月 15 日更新爬蟲預設，加入 AI 分類、分析與按次付費授權，讓網站可控 AI 存取。
Cloudflare 將在 2026 年 9 月 15 日更新爬蟲預設，讓網站能更細分 AI 存取權限，並測試出版商按次收費。
Cloudflare Cloudflare 表示，這次調整會同時加入新 bot 分類、更深的流量分析，以及給出版商與 AI 公司使用的商業工具。公司說，目標是讓網站仍可被 AI 找到，但訓練與代理人使用預設會被限制，除非站方明確同意。
| 項目 | 數值 |
|---|---|
| 預設變更日期 | 2026 年 9 月 15 日 |
| 過去一年提到的內容授權合作 | 50+ 筆 |
| AI 爬取流量花在未變更頁面 | 超過 50% |
| 搜尋引擎可取得資訊量 vs. 領先 AI 公司 | 約 2 倍 |
發生了什麼
訂閱 AI 趨勢週報
每週精選模型發布、工具應用與深度分析，直送信箱。不定期，不騷擾。
不會寄垃圾信，隨時可取消。
這次最直接的變化是預設值。對新客戶、以及既有帳號下的新網站，Cloudflare 會預設允許搜尋爬取，但在有廣告的頁面上，會封鎖訓練與代理人用途。
Cloudflare 也把「混合型爬蟲」放進管制核心。若 bot 沒有清楚區分搜尋、代理人與訓練用途，站方可在廣告支援頁面直接封鎖，避免一個請求同時拿走多種權限。
公司補充，設定仍可在控制台隨時調整。既有免費用戶若不操作，會在 2026 年 9 月 15 日自動套用新預設，接下來兩個月則先做測試與收集回饋。
- 新預設偏向搜尋可見度，而不是全面開放 AI 存取。
- 廣告支援頁面會有更強的訓練與代理人限制。
- Cloudflare 要求透明 bot 依用途標示身分。
- 混合型爬蟲是這次政策的主要管制對象。
Cloudflare 也推出 Attribution Business Insights 儀表板，讓商務團隊看到 AI bot 如何使用內容，以及哪些 AI 公司把人流帶回網站。這類資料過去常缺席，讓出版商在談授權時只能靠片段線索。
從產品節奏看，這不是單一設定，而是一整套權限、觀測與收費邏輯的重排。它把原本模糊的「抓取」拆成可辨識、可計價、可拒絕的幾個層次。
為什麼重要
對出版商來說，重點是控制與定價。Cloudflare 想推的是一種模式：網站可以出現在 AI 回答裡，但不必把訓練權免費送出，且費用可依實際使用來算，而不是只看有沒有掃到頁面。
這會直接影響內容站、媒體與知識庫的流量策略。若 AI 公司必須先分清楚搜尋、訓練與代理人用途，技術實作成本會提高，但內容供應方也多了一層談判籌碼。
對 AI 公司而言，這也可能減少無效抓取。Cloudflare 指出，超過一半的 AI 爬取流量其實花在重新抓取未變更頁面，代表目前很多 bot 的回訪節奏並不精準。
因此，Cloudflare 正在把 Pay Per Crawl 擴展成 Pay Per Use，並與 Ceramic.ai、You.com 合作測試。若模型跑通，出版商可能在 AI 搜尋結果出現或代理人讀取高價內容時獲得分潤。
更大的問題是，AI 時代的內容分發不再只靠 robots.txt。誰能被抓、抓了算什麼、要不要付費，現在都開始變成平台規則的一部分。
真正的看點不是 Cloudflare 會不會改規則，而是出版商和 AI 公司會不會接受這套預設，讓它變成新的行業基線。