GEOのために、AIクローラーログをどう読むのか？

まず無駄なフェッチ、次に足りていないカバレッジ、最後に需要を見ます。直せる順番がそれだからです。どれも同じフィルタ済みのログに対する1回の集計であり、すでにアクセスログを検索している道具以外は何も要りません。

1つ目：トークンごとのステータスコードの内訳。トークンとステータスクラスでグループ化し、それぞれについて2xx、3xx、4xxの割合を別々に読みます。AIクローラーはGooglebotよりも明らかにサイト構造をたどるのが下手です。あるインフラ事業者の2024年12月のログ調査は、サンプル月にGPTBotの5億6,900万件とClaudeBotの3億7,000万件のフェッチを対象とし、GPTBotがフェッチの34.82%を404に、14.36%をリダイレクトに費やし、ClaudeBotが34.16%を404に費やしていたのに対し、Googlebotは8.22%と1.49%だったと報告しています。⁶ 実際に動かせるのは、その割合の下にあるURLの一覧です。自社の404をフェッチ数で並べ替えれば、切れた内部リンクと古いサイトマップ項目の優先順位付きリストが手に入ります。

2つ目：最も意図の強いページのカバレッジ。購買の問いに答える10〜20本のURL、つまり価格、比較、連携、セキュリティ、反論に答えるページを書き出し、それぞれについて直近30日に成功した検索側フェッチがあるかをログで確認します。誰にもリトリーバルされないページは引用されようがないので、ここでのゼロは回答側のどんな比率よりも強い発見です。よく出てくる失敗の形が2つあります。1つは、あるベンダーの検索トークンだけがフェッチしていて他はしていないページで、たいていrobots.txtかレンダリングの違いを指しています。もう1つは、数か月前に一度フェッチされたきり再訪されていないページで、たいていそのページへの内部リンクの弱さを指しています。

3つ目：ユーザートリガー型の到着。ChatGPT-User、Claude-User、Perplexity-Userのフェッチを別々に、日別・パス別に数えます。これらはクロールのスケジュールでは動きません。人が質問し、アシスタントが見に行ったから起きるものです。それらを受け取ったページに対する需要のシグナルとして読み、新しいパスが出てくるのを見張ってください。比較ページがユーザートリガー型のフェッチを集め始めたら、あなたについての最終候補の会話が起きているということです。Cloudflareのネットワーク全体の2025年振り返りは、ユーザー行動によるクロールが1年で15倍以上に増えたと報告しています。⁷

それが教えてくれるのは、あるプラットフォームがあなたのサイトからどれだけ持っていき、どれだけ返しているかで、その両方はすでに同じアクセスログの中にあります。Cloudflareは、あるプラットフォームのクローラーuser-agentからのHTMLリクエスト数を、Refererヘッダーがそのプラットフォームを指すHTMLリクエスト数で割って算出しています。¹¹ 同じ量は自分でも計算できます。一方はクローラーのフェッチ数、もう一方はchatgpt.com、perplexity.ai、claude.ai、gemini.google.comのリファラーを伴って到着したセッションです。

ネットワーク全体で見ると比率は大きく偏っており、プラットフォーム間で桁が違います。2025年を通してCloudflareは、Anthropicを5月以降25,000:1から100,000:1の帯に、それ以前には500,000:1に達するピークもあったとし、OpenAIは変動が大きく3月に約3,700:1のピーク、Perplexityはおおむね400:1未満、Googleは3:1を少し超える程度で、4月に一時30:1に達した後に戻ったとしています。⁷ 自分の数字を読む前に注意が2つあります。リファラー側は過小に出ます。ブラウザは必ずRefererヘッダーを送るわけではなく、それを取り除くクライアントもあるからで、測った比率は上限です。そして比率が高いこと自体は判定ではありません。それは交換レートを表すもので、クロールされたことに見合ったかどうかを表すものではなく、引用されることを目的にしているサイトでは、クリックはそもそも求めていた対価ではありません。

ログは、あるフェッチが引用につながったかどうかを教えてくれません。その隙間があるからこそ、回答側のパネルが必要であり続けます。あるページが毎週検索側のクローラーにフェッチされていて、どこにも引用されていないことはあり得ますし、数か月前に作られたインデックスから引用されていて、最近のフェッチはまったくないこともあり得ます。2つのデータセットを時間で突き合わせ、並べて読み、因果の一文はこらえてください。「クローラーが戻ってきて、それから出るようになった」は順序であって、仕組みではないからです。

盲点はほかに3つ挙げておく価値があります。エージェント型ブラウザは、あなたのログの上ではふつうのブラウザのセッションと区別がつきません。2025年10月30日に公開されたTow Center for Digital Journalismの分析は、同じベンダーの標準インターフェースでは取れない購読者限定の素材を、それらが取得できたことを見つけています。リクエストの中に自動化されたものだと示すものが何もなかったからです。⁹ CDNやエッジキャッシュはフェッチをオリジンのログから丸ごと隠すので、可能ならエッジで読み、オリジンだけの数字は過小に出ると見込んでください。そして、あるトークンが現れなくなったことは曖昧です。ブロックされたのかもしれないし、名前が変わったのかもしれないし、単に新しく取るものがないだけかもしれません。

ログが与えてくれるのは、この分野で唯一の一次情報の証拠です。回答側のものはすべて他人のシステムからのサンプルであり、そのためアクセスログは調査を始めるのに正しい場所であり、終えるのには間違った場所です。