ホーム/GEO を学ぶ/クローラートークン
テクニカルGEO · その判断

どのクローラートークンが重要で、ブロックしてはいけないのはどれか？

トークンはそれぞれ別の行であり、代償も別々です。しかも間違いは正反対の2方向に出ます。間違ったほうをブロックすれば答えから消え、意図したほうをブロックしても目に見える変化は何も起きません。

テクニカルGEOのトピック12分で読了2026年8月30日更新出典8件、すべて一次情報
ロードマップに戻る 次の記事：JavaScriptは実行されるか
このページの内容
この記事をシェア
X でシェア LinkedIn でシェア
短い答え

エンジンがあなたを引用できるかを決めるのは、そのエンジンの検索側クローラーで、全部で5つあります。OAI-SearchBot、Claude-SearchBot、PerplexityBot、Applebot、Googlebot です。学習側のトークンはどれも別のルールであり効果も別なので、GPTBot、ClaudeBot、Applebot-Extended を禁止しても、検索でグラウンディングされた回答から何かが失われることはありません。Google だけでも2つのページで11個の一般的なクローラートークンと9個のユーザートリガー型フェッチャーを文書化しており、検索内のAI機能を管理する手段として1つを名指ししています。Googlebot 宛てのディレクティブです。567

重要ポイント
  • 理由がない限り、検索側の5つのトークンは許可してください。ファイルの他の行は、それぞれ別の値段がついた別の判断として扱います。
  • 無料でなくなった学習トークンが1つあります。Google-Extended はいま学習だけでなくグラウンディングも制御するため、禁止すると Gemini Apps から外れます。AI Overviews と AI Mode はそのままです。
  • 高くつくブロックは、ほぼ選ばれたものではありません。ワイルドカードの禁止指定、Applebot も従うと Apple が文書化している Googlebot 向けルール、そして robots.txt を一切読まないファイアウォールのルールです。
  • 4つのユーザートリガー型フェッチャーのうち3つは、設計上 robots.txt を無視します。切れるのは Anthropic の Claude-User だけで、切ると誰かが尋ねたその瞬間のリトリーバルを失います。
その例外

各トークンをブロックすると、実際に何を失うのか？

Google-Extended は二度読む価値のある行です。Google の文書はこれを、クロールした内容を「将来世代の Gemini モデルの学習に」使ってよいか、および「Gemini Apps と Vertex AI の Grounding with Google Search におけるグラウンディング（事実性と関連性を高めるため、プロンプト時に Google 検索インデックスの内容をモデルへ渡すこと）に」使ってよいかを管理するトークンだと説明しています。同じ項目には、Google-Extended は「サイトの Google 検索への登録に影響せず、Google 検索のランキングシグナルとしても使われない」とも書かれています。5 この2つは同時に成り立ち、合わせると多くの記事が見落としている線が引かれます。Google-Extended を禁止するのは Gemini アシスタントから降りる判断であって、AI Overviews についての判断ではありません。

AI Overviews と AI Mode はその線の反対側にあります。あれは検索そのものだからです。Google は管理手段を直接名指ししています。「AIは検索に組み込まれ、検索の動作に不可欠です。だからこそ、サイト所有者がアクセスを管理する手段は Googlebot 向けの robots.txt ディレクティブです」。ページのどこまでを表示してよいかを決めるレバーは nosnippet、data-nosnippet、max-snippet、noindex です。7 Google-Extended はそのすぐ次の文で、「Google の他の一部システムにおけるAIの学習とグラウンディング」向けとして提示されます。

他の行も同じく字義どおりに読む価値があります。OpenAI の書き方は、よくある言い換えより狭いものです。OAI-SearchBot をオプトアウトしたサイトは「ChatGPT の検索回答には表示されないが、ナビゲーションリンクとしては表示されることがある」。1 Apple の Applebot-Extended はそもそもクローラーではありません。文書には「ウェブページをクロールしません」とあり、「Applebot という user agent がクロールしたデータの使い方を決める」ためだけに存在します。4

事故

ブロックしてはいけないのはどれで、なぜ事故で塞がれるのか？

ほとんどは3つの形に収まり、どれも誰かがAIクローラーをブロックしようと決めた結果ではありません。

1つ目はワイルドカードです。広い Disallow を持つ User-agent: * のグループは、検索側のトークンをまとめて消し去ります。しかもそれはほぼ常に、選んだものではなく受け継いだものです。あるチームはステージング用の robots.txt を本番に上げてしまい、サイト全体の検索側フェッチを失い、それを2週間後にアクセスログで知りました。フェッチされなかったページは、そもそも失われるインプレッションを生まないからです。

2つ目は文書化された継承です。Apple は「robots の指示が Applebot に言及せず Googlebot に言及している場合、Apple のロボットは Googlebot の指示に従う」と述べています。4 つまり、何年も前にファセット検索のディレクトリから Googlebot を締め出すために書いたルールは、同時に Applebot のルールでもあります。そして Applebot は Spotlight、Siri、Safari の背後にあるトークンです。同じページには Applebot が crawl-delay を無視することも記載されており、その書き方のレート制限も何の効果もありません。

3つ目はそもそも robots.txt ではありません。ウェブアプリケーションファイアウォール、ボット管理、あるいは強すぎるレート制限は、どのディレクティブが読まれるより先に応答します。403 はクローラーが断れる要求ではありません。Perplexity 自身の文書には、自社のボットを許可するための Cloudflare と AWS のファイアウォール手順が段階的に載っており、3 効いている制約がファイルの中ではなくファイルの上にあることがどれだけ多いかをよく示しています。スコープは静かな4つ目です。robots.txt はホスト単位なので、マーケティングサイトのルールはドキュメントのサブドメインについて何も言っていません。Anthropic は発行者に対し、「オプトアウトしたいすべてのサブドメインで」同じ変更を繰り返すよう求めています。2

拘束力なし

ユーザートリガー型フェッチャーは robots.txt に従うのか？

ほとんど従いません。そしてそれは各ベンダー自身が書いています。OpenAI は、ChatGPT-User が人が尋ねたときにページを訪問すること、「これらの動作はユーザーが起点なので robots.txt のルールが適用されない場合がある」こと、そしてそれが「コンテンツを検索に表示してよいかの判断には使われない」ことを文書化しています。1 Perplexity も Perplexity-User について同じように書いています。「ユーザーがフェッチを要求したため、このフェッチャーは一般に robots.txt のルールを無視します」。3 Google はこのルールをクラス全体に適用し、「フェッチはユーザーが要求したものなので、これらのフェッチャーは一般に robots.txt のルールを無視します」と書いています。このクラスにはいま Google-Agent が含まれ、Google のインフラ上のエージェントがユーザーの依頼に応じて閲覧し操作するために使います。6

Anthropic は例外で、しかも役に立つ例外です。Claude-User は ClaudeBot や Claude-SearchBot と同じ表に、発行者がアクセスを設定するロボットとして並んでいます。無効にすると「ユーザーのクエリに応じて当社のシステムがあなたのコンテンツをリトリーバルすることを妨げ、ユーザー主導のウェブ検索におけるサイトの可視性を下げる可能性があります」。2

判断はこの非対称から出てきます。好みから出てくるのではありません。4つのうち3つには決めることがありません。4つ目については、答えはほぼ常に許可のままにすることです。ユーザートリガーのフェッチは、いま誰か1人があなたについて尋ねているということだからです。あるページを本当に読ませてはいけないなら、robots.txt はもともとその仕組みではありません。認証がその仕組みです。

手順

午後半日で、トークンごとにどう判断するか？

01

リポジトリを読まず、ファイルを取得する

所有するすべてのホストについて、公開インターネット越しに robots.txt をリクエストしてください。CDN のルール、リダイレクト、古いデプロイのせいで、配信されるファイルがリポジトリの内容と食い違うことは、思っているより頻繁に起きます。

02

トークンを名前ごとに評価する

グループ化と優先順位のせいで、robots.txt は目で見て判断すると当てになりません。自分が書いた覚えのあるルールを探して眺めるのではなく、トークンを1つずつ処理してください。

03

ファイルの上の層を確認する

ファイアウォールのルール、ボット管理、レート制限、国別ブロックは、ディレクティブが読まれるより先に応答します。403 を返されたクローラーは、あなたの Allow の行までたどり着きません。

04

サイト単位ではなく、ホスト単位で繰り返す

robots.txt のスコープは1つのホストです。Anthropic は発行者に、対象にしたいすべてのサブドメインで同じ変更を繰り返すよう求めており、これは許可する方向でも同じです。2

05

判断する前に1日待つ

OpenAI は robots.txt の更新が自社システムに届くまでおよそ24時間かかるとしています。Perplexity も最大24時間と文書化しています。13

06

自分のログで確認する

判断はテキストファイルの中で下されます。それが届いた証拠は、アクセスログに残る成功した検索側フェッチであり、落とし穴の異なる別の作業です。

既定の姿勢は1行で足ります。理由がない限り検索側の5つのトークンはすべて許可し、学習側のトークンは検索上の代償がないビジネス判断として扱う。ただし Google-Extended は例外です。どれも自動では直りません。ブロックは、あなたが見るどのダッシュボードにも落ち込みとして現れないからです。ファイルが正しくなったら、問いは実際に何が届いたかへ移ります。それはログの問いです。クローラーログの読み方では、どのトークンを分けて数えるか、どの程度のエラー率を見込むか、クローラーが名乗ったとおりの相手だったかをどう確認するかを扱います。

陳腐化

トークンの一覧はなぜ古くなり、どうすればよいか？

今年、この一覧が判断に触れる形で動いたからです。OpenAI は4つ目のトークン OAI-AdsBot を文書化しました。これは「広告として送信されたページだけを訪問し」、そのデータは「生成AI基盤モデルの学習には使われません」。1 Google はクローラー文書を Search Central の外へ移しました。/search/docs/crawling-indexing/ 配下の旧パスは、いまは独立したクロール関連セクションへリダイレクトします。2026年8月30日に確認しました。56 そして Google-NotebookLM はそこに、2026年8月までサポートされていた旧エージェントとしてのみ登場し、Google-GeminiNotebook に置き換わりました。つまりその窓は今月閉じます。6

Google のフェッチャーのページは、agent.bot.goog という識別子での Web Bot Auth プロトコルの実験にも触れています。6 これはクローラーの身元を、自己申告のヘッダー文字列から署名されたものへ移すことになります。それが当たり前になれば、テキストファイルの中の名前は判断の単位ではなくなります。

Google の2つのページはどちらも一覧が「網羅的ではない」と述べており、3つ目のページが特殊なクローラーを扱っています。ですから上のトークンは全数調査ではなく下限として扱ってください。この先は地味な作業です。カレンダーに定期的なリマインダーを入れ、5社のページを読み直し、自分のファイルが前提にしている内容と突き合わせる。一度書いたきりの robots.txt は、あなたの代わりに判断を下し続けます。そして生まれる失敗は音を立てません。

本記事の誠実な限界

ここでの主張はすべてベンダーの自己申告です。強い証拠ではありますが、それでも測定ではありません。文書はトークンが何のためのものかを述べるだけで、その背後のクローラーが実際に何をするかは述べていません。特定のサイトでの robots.txt の変更と、そのサイトの引用率の測定された変化を結び付けた公開研究もないため、検索用トークンを許可することから引用されることへ至る段は、示されたものではなく仮定です。ページの古び方もばらばらです。Anthropic のページは2026年4月7日、Perplexity のページは2026年1月29日、Google のAI機能ページは2025年12月10日、生成AIガイドは2026年7月10日で、OpenAI のページには日付がありません。さらに robots.txt はアクセス制御ではなく要請なので、身元を明かさないフェッチャーについては何も述べていません。

プロダクトが役立つところ、役立たないところ

ここでの判断はどれも無料で、半日あれば終わります。ホストごとに配信中の robots.txt を取得し、トークンを名前ごとに評価し、その上のファイアウォール層を確認し、サブドメインごとに繰り返し、1日待つ。この判断を代わりに下せるツールはありません。自分のコンテンツを誰かのモデルの学習に使わせるべきかどうかは、技術の問題ではなくビジネスの問題です。Bavior が働くのはゲートの先です。固定のプロンプトパネルを5つのエンジンに定期実行し、各回答がどのソースを引用したかを記録するので、トークンの変更で登場する顔ぶれが変わったかどうかが分かります。あなたの robots.txt を編集することも、サーバーログを読むことも、ファイアウォールが拒否しているページを開放することもしませんし、得られた引用があなたの変えたトークンによるものだと伝えることもできません。無料 AI 可視性チェッカーと無料 GEO 診断は有料プランなしで使えます。有料プランは月払いで月額 $99 から、年払いなら月額 $79.17 です（2026年8月30日時点）。

出典、すべて2026年8月30日に確認
  1. OpenAI「Overview of OpenAI Crawlers」（OAI-SearchBot、OAI-AdsBot、GPTBot、ChatGPT-User。一方を許可し他方を禁止する例。日付なし）：developers.openai.com/api/docs/bots
  2. Anthropic「Does Anthropic crawl data from the web?」2026年4月7日付（ClaudeBot、Claude-SearchBot、Claude-User。それぞれを無効にした場合の影響。サブドメインごと）：support.claude.com/en/articles/8896518
  3. Perplexity「Perplexity Crawlers」2026年1月29日付（PerplexityBot。Perplexity-User は「一般に robots.txt のルールを無視する」。ファイアウォールの手順）：docs.perplexity.ai/docs/resources/perplexity-crawlers
  4. Apple「About Applebot」（Applebot と Applebot-Extended。Googlebot 向け指示へのフォールバック。crawl-delay 非対応）：support.apple.com/en-us/119829
  5. Google「List of Google’s common crawlers」（11個のトークン。Google-Extended の学習、グラウンディング、検索に影響しないという記述）：developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers
  6. Google「List of Google user-triggered fetchers」（9個のフェッチャー。Google-Agent。Google-NotebookLM は Google-GeminiNotebook に置き換え。Web Bot Auth）：developers.google.com/crawling/docs/crawlers-fetchers/google-user-triggered-fetchers
  7. Google Search Central「AI features and your website」2025年12月10日更新（検索内のAI機能を管理する手段としての Googlebot。スニペットの制御）：developers.google.com/search/docs/appearance/ai-features
  8. Google Search Central「Google’s Guide to Optimizing for Generative AI Features on Google Search」2026年7月10日更新（生成系機能は「当社のコアな検索ランキングと品質のシステムに根ざしている」）：developers.google.com/search/docs/fundamentals/ai-optimization-guide

続けて読む

GEO を学ぶ GEO ロードマップ GEO を学ぶ 前の記事：取得可能性の上限 GEO を学ぶ 次の記事：JavaScriptは実行されるか
よくある質問

よく聞かれることを、まとめました。

Google-Extended のブロックはいまも無料ですか？

完全にはそうではなく、その点が変わりました。Google のクローラー文書はいま、Google-Extended が学習だけでなくグラウンディングも制御すると説明しています。つまり Gemini Apps と Vertex AI で、プロンプト時にモデルへ渡される検索インデックスの内容も含みます。同じ項目には、それが Google 検索への登録に影響せず、そこでのランキングシグナルにもならないと今も書かれています。禁止した場合の代償は Gemini アシスタントで、AI Overviews と AI Mode はそのままです。

ユーザーが尋ねたときにAIアシスタントがページを取得するのを止められますか？

robots.txt では通常できません。OpenAI は動作がユーザー起点なので ChatGPT-User のルールが適用されない場合があると書き、Perplexity は Perplexity-User が一般に robots.txt を無視すると書き、Google は Google-Agent を含むユーザートリガー型フェッチャーのクラス全体について同じことを述べています。例外は Anthropic です。Claude-User は発行者がアクセスを設定するロボットで、無効にするとユーザーのクエリに応じたリトリーバルが止まります。それより強いものが必要なら、ディレクティブではなく認証が要ります。

robots.txt を1行だけ確認するなら、どの行ですか？

ワイルドカードのグループです。User-agent アスタリスクの下にある広い禁止指定は、検索側のクローラーをまとめて消し去ります。しかもそれは選ばれたものではなく、ステージングのファイルやプラットフォームの既定値から受け継いだものであることがほとんどです。名前のついたトークンを見る前にそこを確認し、次に検索側の5つのトークンが、主要なマーケティングドメインだけでなく所有するすべてのホストで許可されているかを確認してください。robots.txt はホスト単位のスコープなので、サブドメインには自分のファイルが必要です。

robots.txt を使えば、自分のコンテンツをAIの回答から締め出せますか？

ルールに従うクローラーは締め出せますが、それは同じことではありません。ディレクティブはアクセス制御ではなく要請であり、ユーザートリガー型フェッチャーは設計上おおむねそれを無視します。そして自分のファイルの中身は、他人のページがあなたについて何を書くかを左右しません。エンジンは、まったく別のところから取得したレビューやフォーラムのスレッド、同種の製品比較だけでも、あなたの製品を正確に説明できます。

Bavior 編集部

Reddit マーケティングと AI 検索可視性に関する Bavior のコンテンツを調査・管理しているチームです。記事中のすべての数値には出典と確認日を明記しており、アフィリエイトリンクは一切使用していません。

数値に誤りを見つけたらお知らせください。再確認します: support@bavior.com

テキストファイルの1行が、
誰があなたを引用できるかを決めます。

無料トライアルを開始