クロール可能性とインデックス登録は、なぜ引用されるかどうかを決めるのか？

Google が求めるのはちょうど1つ、しかもそれはインデックス登録の要件です。「ページはインデックスに登録され、スニペット付きで Google 検索に表示される資格があり、検索の技術要件を満たしている必要があります。」同じ文書群は、生成 AI 機能は「当社の中核である検索のランキングと品質のシステムに根ざしています」と述べ、「AI Overviews や AI Mode に表示されるための追加要件はなく、他に特別な最適化も必要ありません」、さらに「これらの機能に表示されるために、新しい機械可読ファイルや AI テキストファイル、マークアップを作る必要はありません。追加すべき特別な schema.org 構造化データもありません」と述べています。¹

これは励ましではなく、境界線として読んでください。これは有料アドバイスの一分類をまるごと否定します。AI 専用のマークアップ、AI 専用のファイル、AI 専用の申請です。負担は、インデックスされ、取得でき、スニペットの対象になるという通常の作業へ戻ります。同じ文書には、Google 検索は llms.txt を無視すると書かれており、この2年で最も人気のあった AI ファイル提案は、それが影響を与えようとしていた当のエンジンの権威によって役目を終えました。

検索側の制御は2つが実際に機能し、正確に知っておく価値があります。nosnippet、max-snippet、data-nosnippet は Google があなたのページから何を表示してよいかを制限し、noindex はページ全体を取り除きます。学習用クローラーのブロックはこのリストに入りません。理由は第4節で扱います。

最初に確認すべきものになる程度には、よく起きます。2026年のあるプレプリント（批判的サーベイ経由で報告）は、AI の回答ですでに引用されている URL の 27.1% が、アクセス不能・削除済み・非テキストのためスクレイピングできなかったと報告し、別途、実際に取得できた 19,154 ページの約 16% を AI 生成と分類しました。² 分母は名指しする価値があります。これが測っているのは、第三者の研究者が引用先の URL を取得できたかどうかであって、引用したエンジンが取得できたかどうかではありません。失敗の形はどれも平凡です。ログインの壁、同意画面の割り込み、ボットを弾く WAF ルール、画像だけのページ、その後 404 になった URL。どれも技術チケットであって、コンテンツの判断ではありません。

アクセスをめぐっては、逆向きの誤解が2つあります。1つ目は、ペイウォールがあれば AI の回答に出ずに済む、というものです。2025年4月に収集された米国のロングテールニュースクエリ10万件を対象としたベンダー調査では、ある大手紙の AI Overview 引用の 96% 超がペイウォール内のコンテンツを指していました。Google の柔軟なサンプリングにより、Googlebot がペイウォールの内側に入れるからです。ベンダー公表のため、本カリキュラムの出典ルールに従い、リンクせず記述にとどめます。

2つ目は、クローラーをブロックすれば要約されずに済む、というものです。コロンビア大学の Tow Center が2025年10月に検証したところ、エージェント型ブラウザは 9,000 語の購読者限定記事を取得できたのに、同じ2製品の標準インターフェースでは取得できませんでした。発行元がブロックしていたのはそれらのクローラーであり、ブラウザはサーバーログ上で Chrome と区別がつかないからです。ブロックが実際に効いていた場合、エージェントは「その記事についてのツイート、転載版、他媒体での引用、ウェブ全体の関連報道をもとに、複合的な要約を作り上げた」とされています。⁶ ブロックが変えるのは誰がトラフィックを得るかであって、あなたを回答から消すことではありません。

robots.txt は要求であり、執行するのはあなたのサーバーです。そしてこの2つは、誰もが思う以上に食い違います。ボット対策ルール、レートリミッター、地域ブロックのいずれかが、robots.txt で明示的に許可されたクローラーを落とすことがあります。しかも、それを報告してくれるものはどこにもありません。完了しなかったフェッチは、欠けていると気づけるような痕跡を何も残さないからです。この隙間は上の 27.1% と同じ系統の問題であり、エンジン内部の挙動と違って、まるごとあなたが点検できる範囲にあります。

設定ファイルではなくアクセスログを見て、名前ではなくアドレスで照合してください。上の表にあるベンダーはいずれも、まさにこの用途のために機械可読の IP アドレス範囲を公開しています。OpenAI は OAI-SearchBot、GPTBot、ChatGPT-User について、トークンごとに1つの JSON ファイルを挙げています。³ Perplexity は PerplexityBot 用と Perplexity-User 用に1つずつ公開し、ファイアウォール運用者に対してそれらのエンドポイントを正とするよう案内しています。⁵ Google は common-crawlers.json に加えて、特殊ケースのクローラーとユーザートリガー型フェッチャー用の別ファイルを公開し、手動の代替手段も文書化しています。取得元アドレスに対する逆引き DNS が googlebot.com、google.com、googleusercontent.com のいずれかに解決し、続く正引きで同じアドレスに戻ること、という手順です。¹⁰

行動に移す価値のある帰結が2つあります。user-agent 文字列は証拠になりません。だから名前で許可するというのは、その名前を名乗る用意のあるものすべてを通すことであり、名前でブロックしても重要なものは何も止まりません。もう1つ、ページが公開され許可されているのに、ある検索トークンの成功したフェッチが1週間まったく無いなら、ブロックは robots.txt とオリジンの間にあります。それは SEO のチケットではなく、ファイアウォールのチケットです。