本当のAIクロールトラフィックはどう見えるのか？

Cloudflareの2025年の年次レビューは、2025年1月1日から12月2日まで、ネットワーク全体を対象としています。そこでは検索エンジンのクローラーが年間の検証済みボットトラフィックの40%、AIクローラーはその半分の20%とされました。¹ これらのカテゴリの内側では、分布はロングテールではなく極端に集中しています。Googlebot単独で検証済みボットトラフィックの28%超、OpenAIのGPTBotが約7.5%、MicrosoftのBingbotが6%です。¹ クローラーの大軍と描写されるものの大半は、4つのuser-agentが担っています。

実際のコンテンツを運ぶトラフィックであるHTMLだけに数え方を絞ると、絵はさらに引き締まります。2025年を通して、Googlebot以外のAIボットはそのネットワークのHTMLリクエストの平均4.2%で、Googlebot単独では4.5%でした。12月2日時点では、人間がHTMLリクエストの47%を生成し、AI以外のボットが44%でした。¹ HTMLリクエストの10件中9件超は、AIクローラーとはまったく関係がありませんでした。あるホスティングプラットフォームの2024年後半の1か月分の自社ログも、別の経路で同じ形にたどり着いています。最大級のAIクローラー2つを合わせて、同時期のGooglebotのフェッチ量の約20%でした。³

ここでのすべての数字に、ひとつの但し書きが付いて回ります。GooglebotとBingbotは検索インデックスのためのクロールとAI学習のためのクロールを同時に行うので、それらを検索の箱に入れるかAIの箱に入れるかは、パケットについての事実ではなくラベル付けの判断です。CloudflareはGooglebotを両方に数えており、だからこそ同社のAIクローラー概要の先頭には、多くの人がAIクローラーとは呼ばないボットが並びます。¹

すべてではありませんし、その内訳はベンダーによって十分に違うので、どれか1社をブロックして何が節約できるかという答えも変わります。VercelとMERJはnextjs.orgでAIクローラーがフェッチしたコンテンツタイプを計測し、ChatGPTのフェッチは57.70%がHTML、Claudeは35.17%が画像だと突き止めました。さらに両者とも、実行しないJavaScriptファイルにそれぞれ11.50%と23.84%を費やしていました。³ GeminiとSearchにまたがるGooglebotのフェッチは、また違う散らばり方でした。HTMLが31.00%、JSONが29.34%、プレーンテキストが20.77%、JavaScriptが15.25%です。³

容量については2つのことが導かれます。AIクローラーが帯域幅を食っているという不満は、ベンダーごとに別の文です。一方はあなたのオリジンからドキュメントを引くのが中心で、もう一方は画像を引くのが中心であり、それらは請求書の別の行に載るからです。そして、自分では決して実行しないスクリプトバンドルをフェッチするクローラーは、読めないバイトを買っています。つまりその部分は、コンテンツの問題ではなくアセットとキャッシュの問題です。そもそも実行するのかどうかは、JavaScriptは実行されるかという別の問いです。

サンプルははっきり言っておくべきです。コンテンツタイプの構成比は、まさに持ち運びに弱い種類の統計だからです。それらの割合は、2024年末の1か月、1つのフレームワーク上の、ドキュメント中心の1サイトから出たものであり、その後の20か月で追試は公表されていません。画像の多いメディアサイトや、大きな商品カタログを持つ店舗が、同じ分布を見ることはありません。他人の分布を前提に計画する前に、自分のエッジログから同じ内訳を取り出してください。

グラフが示唆するほど頻繁ではありません。ベースライン自体が動くからです。数百万サイトのネットワーク全体で、HTMLリクエストに占めるAIの合計シェアは同じ年のうちに4月初旬の2.4%から6月下旬の6.4%まで動きました。2.5倍を超える振れ幅で、どのサイトも何もしていません。¹ したがって、自社のクロール系列が四半期で倍増したとしても、それは市場が足元で動いているという説明と矛盾しません。自分がリリースしたものに帰属させるには、系列だけでなく比較が要ります。年次レビューの元になっているRadarのライブ系列は公開されているので、その比較にコストはかかりません。²

さらに2つ、よくある読み違いがあり、どちらも避けるのは簡単です。AIボットを1本に集計した線は、上で見た分岐を隠します。名前のある3つのクローラーは、同じ年をおよそ3.5倍、1.1倍、横ばいで終えました。そして、二重目的のGooglebotを含む集計と、それを除いた集計は別の系列であり、その差はおおよそGooglebot自身の大きさに相当します。食い違う2つのグラフは、単に別の母集団を数えているだけかもしれません。¹

自社の計数の動きがその量で本物かどうかは、別の答えを持つ別の統計の問題で、クローラーログの読み方の記事で扱っています。ここでの問いはその手前にあります。変化はあなたのサイトで完全に本物でありながら、あなたのサイトについての話ではないことがあり得ます。