Cloudflare 機器人流量超越人類：實作指南
這篇教你把 Cloudflare 的 bot 流量趨勢，落地成可操作的網站檢查、分流與防護流程。
這篇教你把 Cloudflare 的 bot 流量趨勢，落地成可操作的網站檢查、分流與防護流程。
這篇給開發者、網站管理者與安全團隊看，重點是把「機器人流量已超過人類流量」這件事，轉成你自己的站台可以執行的檢查清單。照做完，你會拿到一份可驗證的流量分類結果、可套用的爬蟲控制規則，還有一個能區分真人與自動化的分析視圖。
你不需要先猜測自己的站有沒有被 bot 淹沒，直接按步驟檢查、標記、限制、再回頭驗收，就能知道哪些流量該留、哪些流量該擋。
開始之前
訂閱 AI 趨勢週報
每週精選模型發布、工具應用與深度分析，直送信箱。不定期，不騷擾。
不會寄垃圾信，隨時可取消。
- Cloudflare 帳號，且可使用 Radar 或已將站點接入 Cloudflare
- Origin 伺服器或 CDN 設定的管理權限
- GA4、Logpush 或伺服器日誌的存取權
- 已安裝 Node 20+ 或 Python 3.11+
- 了解 robots.txt、rate limiting 與 HTTP headers 的基本概念
Step 1: 開啟 Bot 流量儀表板
目的：先確認你自己的流量組成，是否也跟 Cloudflare 提到的趨勢一致，而不是只看新聞標題。
先打開 Cloudflare Radar，查看 bot 與 human 的對照頁；如果你的站已接 Cloudflare，也同步看後台或匯出的日誌。把相同時間區間內的 HTML 請求比例拉出來，先記錄基準值。
驗收：你應該看到 bot 與 human 的分拆數字，並且能指出最近一週自動化流量是否持續上升。
Step 2: 分離爬蟲與真人請求
目的：避免把搜尋引擎爬蟲、AI agent 與惡意 bot 混成同一類，導致報表失真。
用伺服器日誌、WAF 事件或 log pipeline，依 user-agent、IP reputation、請求頻率與 session 行為來打標。把 Googlebot、Bingbot 這類已知爬蟲，和 AI 訓練爬蟲、可疑自動化分開記錄。若你需要對照格式，可查看 Cloudflare docs repository 的範例，再對照自己的 log schema。
驗收：你應該看到 dashboard 中出現清楚的流量分類，且已知搜尋爬蟲不再把 bot 總量灌高。
Step 3: 建立高頻自動化控制規則
目的：降低高成本路徑被反覆抓取造成的頻寬浪費與 origin 壓力。
針對 search、feeds、article archives 這類昂貴端點，設定 rate limiting、bot score 閾值與 challenge page。若你的內容允許被索引或用於 AI 訓練，就另外定義 allowlist、付費存取或授權條款。先放一份最小可用的 robots.txt 規則，當作政策起點。
User-agent: *
Disallow: /api/
Disallow: /search/
Allow: /articles/
驗收：你應該看到重複打到高成本路徑的請求下降，origin CPU 或頻寬用量降低，analytics 中的空 session 也變少。
Step 4: 只量真人互動
目的：讓廣告、產品與編輯決策不要被 bot-heavy 流量帶偏。
把分析重點改成 human sessions、engaged time、scroll depth、conversion events 與 authenticated actions。若你有廣告業務，還要把 impression logs、viewability 與 fraud check 對齊，避免 programmatic 報表被自動化灌水。當 bot 比例進入 30% 到 40% 區間時，這一步尤其重要。
驗收：你應該看到一個 human-only 或 human-weighted 的儀表板，而且它和原始 pageview 數字明顯不同。
Step 5: 寫出 AI agent 政策
目的：建立一套能重複使用的規則，處理合法 agent、抓取行為與未來驗證。
把允許的 agents、可存取的 endpoints、以及需要身份證明、API key 或 signed request 的動作寫成文件。若你提供公開內容，就同步發布政策頁，並和 robots.txt、服務條款、資料授權條件保持一致。內部團隊則要定義誤判申訴流程，確保合法自動化可以快速解封。
驗收：你應該拿到一份單一政策文件，讓安全、工程與法務在新 bot 出現時都能照著處理。
| 指標 | 基準／優化前 | 結果／優化後 |
|---|---|---|
| HTML 請求中的 bot 佔比 | 早期期間低於 human traffic | Cloudflare 指出 bots 已超過 humans |
| 2026 樣本常見 bot 佔比 | 約 31% 到 33% | 常落在 30% 到 40% 區間 |
| 產業趨勢 | 傳統爬蟲主導 bot 組成 | AI 訓練爬蟲與 agent 帶動更快成長 |
常見錯誤
- 只看 user-agent。修法：把 user-agent 與頻率、行為、IP reputation 一起判斷。
- 把所有自動化一次封鎖。修法：保留搜尋爬蟲與已核准合作方，對高風險流量再挑戰。
- 直接用 raw pageviews 當受眾數。修法：先分離 human engagement，再做產品或廣告決策。
接下來可以看什麼
下一步可以把這套流程延伸成 signed agent verification、內容授權工作流與 origin-side protection，讓你的站在 bot-heavy 網路裡仍能看清真人流量。