真实的 AI 抓取流量长什么样？

Cloudflare 的 2025 年度回顾覆盖 2025 年 1 月 1 日至 12 月 2 日、其整个网络，给出的数字是：搜索引擎爬虫占全年已核验机器人流量的 40%，AI 爬虫是它的一半，20%。¹ 在这两个类别内部，分布是极度集中而不是长尾的：仅 Googlebot 一家就贡献了超过 28% 的已核验机器人流量，OpenAI 的 GPTBot 约 7.5%，微软的 Bingbot 6%。¹ 被描述成“爬虫大军”的东西，大部分是由四个 user-agent 扛着的。

只统计 HTML，也就是真正承载你内容的那部分流量，画面会进一步收紧。2025 年全年，除 Googlebot 之外的 AI 机器人在该网络上平均占 HTML 请求的 4.2%，而 Googlebot 一家占 4.5%；截至 12 月 2 日，人类产生了 47% 的 HTML 请求，非 AI 机器人产生 44%。¹ 十次 HTML 请求里，有九次以上和 AI 爬虫毫无关系。某托管平台 2024 年底一个月的自有日志，用另一条路径得到了同样的形状：两个最大的 AI 爬虫加起来，约为同期 Googlebot 抓取量的 20%。³

有一条限定条件必须跟着这里每一个数字走。Googlebot 和 Bingbot 同时为搜索索引和 AI 训练而抓取，所以把它们算进“搜索”桶还是“AI”桶，是一个标注决定，而不是关于数据包的事实。Cloudflare 两边都算，这也是为什么它的 AI 爬虫总览里排在最前面的，是一个多数人不会称之为 AI 爬虫的机器人。¹

并不全是，而且各家之间的差别大到足以改变“屏蔽其中某一家能省下什么”的答案。Vercel 与 MERJ 测量了 AI 爬虫在 nextjs.org 上抓取的内容类型，发现 ChatGPT 的抓取有 57.70% 是 HTML，而 Claude 有 35.17% 是图片；两者还各有一部分花在它们并不执行的 JavaScript 文件上，分别是 11.50% 和 23.84%。³ Googlebot 跨 Gemini 与搜索的抓取则又是另一种分布：31.00% HTML、29.34% JSON、20.77% 纯文本、15.25% JavaScript。³

对容量来说有两点推论。“AI 爬虫在吃我的带宽”这句话对每一家厂商都不是同一句话，因为其中一家主要是在从你的源站拉文档，另一家主要是在拉图片，这两者落在你账单的不同行上。而一个去抓自己从不执行的脚本包的爬虫，是在买它读不懂的字节，所以这一部分是资源与缓存问题，不是内容问题。至于它们到底会不会执行 JavaScript，那是另外一个问题。

这里的样本必须明说，因为内容类型构成正是那种最经不起搬运的统计量。那些百分比来自 2024 年年底一个月里、一个以文档为主的站点、一套框架，而在此后的二十个月里没有任何复现被发表。一个图片很重的媒体站，或者一个商品目录庞大的商店，都不会看到那样的分布。在照抄别人的分布来做规划之前，先从你自己的边缘日志里拉一份同样的拆分。

比一张图看上去的次数要少，因为基线本身在动。在一个由数百万站点组成的网络上，AI 占 HTML 请求的总体份额在同一年里，从 4 月初的 2.4% 一路摆到 6 月底的 6.4%，两倍半以上的摆幅，而没有任何一个站点做了什么。¹ 所以你自己的抓取曲线在一个季度里翻倍，完全可能只是大盘在你脚下移动；要把它归因于你上线的某件事，需要的是那次比对，而不只是那条曲线。年度回顾所依据的 Radar 实时曲线是公开的，做这次比对不花钱。²

另有两个常见且很容易避免的读法错误。把 AI 机器人汇总成一条线，会掩盖上一节里的分化：三个具名爬虫在同一年里分别收在约 3.5 倍、1.1 倍和基本持平。而一条包含双重用途 Googlebot 的汇总曲线，和一条不包含它的曲线，是两条不同的曲线，差距大约就是它自己那么大；所以两张互相矛盾的图，可能只是在统计不同的人群。¹

在你自己的量级上，一次计数变动算不算真实，是另一个统计问题、有另一个答案，读爬虫日志那一篇把它推演过一遍。这里的问题排在它前面：一个变化完全可以在统计上是真的，同时又根本不是关于你的站点的。