真實的 AI 抓取流量長什麼樣？

Cloudflare 的 2025 年度回顧涵蓋 2025 年 1 月 1 日至 12 月 2 日、其整個網路，給出的數字是：搜尋引擎爬蟲佔全年已核驗機器人流量的 40%，AI 爬蟲是它的一半，20%。¹ 在這兩個類別內部，分佈是極度集中而不是長尾的：僅 Googlebot 一家就貢獻了超過 28% 的已核驗機器人流量，OpenAI 的 GPTBot 約 7.5%，Microsoft 的 Bingbot 6%。¹ 被描述成一支爬蟲大軍的東西，大部分是由四個 user-agent 扛著的。

只統計 HTML，也就是真正承載你內容的那部分流量，畫面會進一步收緊。2025 年全年，除 Googlebot 之外的 AI 機器人在該網路上平均佔 HTML 請求的 4.2%，而 Googlebot 一家佔 4.5%；截至 12 月 2 日，人類產生了 47% 的 HTML 請求，非 AI 機器人產生 44%。¹ 十次 HTML 請求裡，有九次以上和 AI 爬蟲毫無關係。某託管平台 2024 年底一個月的自有日誌，用另一條路徑得到了同樣的形狀：兩個最大的 AI 爬蟲加起來，約為同期 Googlebot 抓取量的 20%。³

有一條限定條件必須跟著這裡的每一個數字走。Googlebot 和 Bingbot 同時為搜尋索引和 AI 訓練而抓取，所以把它們算進搜尋那一桶還是 AI 那一桶，是一個標註決定，而不是關於封包的事實。Cloudflare 兩邊都算 Googlebot，這也是為什麼它的 AI 爬蟲總覽裡排在最前面的，是一個多數人不會稱之為 AI 爬蟲的機器人。¹

並不全是，而且各家之間的差別大到足以改變封鎖其中任何一家能省下什麼這個答案。Vercel 與 MERJ 測量了 AI 爬蟲在 nextjs.org 上抓取的內容類型，發現 ChatGPT 的抓取有 57.70% 是 HTML，而 Claude 有 35.17% 是圖片；兩者還各有一部分花在它們並不執行的 JavaScript 檔案上，分別是 11.50% 和 23.84%。³ Googlebot 跨 Gemini 與搜尋的抓取則又是另一種分佈：31.00% HTML、29.34% JSON、20.77% 純文字、15.25% JavaScript。³

對容量來說有兩點推論。AI 爬蟲在吃你的頻寬這句抱怨，對每一家廠商都是不同的一句話，因為其中一家主要是在從你的來源伺服器拉文件，另一家主要是在拉圖片，這兩者落在你帳單的不同行上。而一個去抓自己從不執行的腳本包的爬蟲，是在買它讀不懂的位元組，所以這一部分是資源與快取問題，不是內容問題。至於它們究竟會不會執行 JavaScript，JavaScript 會執行嗎是它自己的問題。

這裡的樣本必須明說，因為內容類型構成正是那種最經不起搬運的統計量。那些百分比來自 2024 年年底一個月裡、一套框架上、一個以技術文件為主的站點，而在此後的二十個月裡沒有任何複現被發表。一個圖片很重的媒體站，或者一個商品目錄龐大的商店，都不會看到那樣的分佈。在照抄別人的分佈來做規劃之前，先從你自己的邊緣日誌裡拉一份同樣的拆分。

比一張圖看上去的次數要少，因為基線本身在動。在一個由數百萬站點組成的網路上，AI 佔 HTML 請求的總體份額在同一年裡，從 4 月初的 2.4% 一路擺到 6 月底的 6.4%，兩倍半以上的擺幅，而沒有任何一個站點做了什麼。¹ 所以你自己的抓取曲線在一季裡翻倍，完全符合大盤在你腳下移動這個解釋；要把它歸因於你上線的某件事，需要的是那次比對，而不只是那條曲線。年度回顧所依據的 Radar 即時曲線是公開的，做這次比對不花錢。²

另有兩個常見且很容易避免的讀法錯誤。把 AI 機器人匯總成一條線，會掩蓋上面那段的分化：三個具名爬蟲在同一年裡分別收在約 3.5 倍、1.1 倍和基本持平。而一條包含雙重用途 Googlebot 的匯總曲線，和一條不包含它的曲線，是兩條不同的曲線，差距大約就是它自己那麼大；所以兩張互相矛盾的圖，可能只是在統計不同的母體。¹

在你自己的量級上，一次計數變動算不算真實，是另一個統計問題、有另一個答案，讀爬蟲日誌那一篇把它推演過一遍。這裡的問題排在它前面：一個變化完全可以在你的站點上是真的，同時又根本不是關於你的站點的。