どの6つのプロンプトクラスを分けて追うべきか？

平均がシグナルを壊すのは、クラスごとに基準率が大きく違うからです。ブレンドした数字は、あなたの可視性の性質であると同時に、パネル構成の性質でもあります。40件のパネルで考えます：カテゴリ定義が12件で名指しされる割合は70%、候補リストが10件で15%、比較が8件で30%、適合性が4件で25%、異論が3件で10%、ハウツーが3件で45%。ブレンドは37.4%です。ここにすでに勝てているカテゴリ定義のプロンプトを5件足し、他は何も変えなければ、報告される数字は41.0%になります。3.6ポイントの上昇を生んだのは、編集上の判断です。

2つ目の理由は、勝ちが各クラスで同じ出来事ではないことです。候補リストのプロンプトでは、リストのどこかに載っていることが結果のすべてです。比較のプロンプトでは、名前の隣の一文が間違っていれば、載っていること自体に価値はありません。カテゴリ定義のプロンプトでは、隣接するカテゴリではなく正しいカテゴリに入ることが勝ちです。出現率1つでは、2つのクラスには正しい問いを、4つのクラスには誤った問いを立てることになります。

3つ目の理由は、クラスごとに答えを支える情報源の母集団が違い、したがって反応する作業も違うことです。カテゴリ定義とハウツーの回答は企業が自分で書けるページに寄りかかり、候補リストと異論の回答は書けないページに寄りかかります。数字が1つだと、何かが動いたことは分かっても、どのチームがそれを動かせたのかは分かりません。パネルを作るのはプロンプトリサーチのステージで、この記事はその各行に貼るタグの話です。

この2つでは、誤った説明に付いた引用のほうが、引用が全くないことよりも高くつくからです。そして誤った説明は例外ではなく通常の状態です。Tow Centerは2025年3月に8つのエンジンで1,600件のクエリを実行し、60%を超える回答が誤っていることを確認しました。最も悪いエンジンは94%が誤りで、200件のプロンプトからエラーページに至る引用を154件生み、最も良いエンジンでさえ37%が誤りでした。³ それより早い200件の引用を対象としたテストでは、153件の回答が部分的または完全に誤っており、不確実性が示されたのはわずか7回でした。²

2つの測定が、同じ問題を文のレベルで示しています。より早い研究では、生成検索の回答のうち付随する引用に完全に裏付けられた文は51.5%にとどまり、⁴ 2026年の研究は98,020件のアトミックなクレームのおよそ11%を裏付け不足に分類しました。⁵ あなたのカテゴリは正しく、価格帯を間違えたエンジンは、それでも商談を失わせる回答を出しており、出現フラグはそれを勝ちとして記録します。

ここから安上がりな帰結が3つ出てきます。比較と異論のプロンプトでは、出現フラグだけでなく回答の全文を記録してください。読む必要があるのは一文であって、真偽値ではありません。この2つのクラスは実行回数を多めにしてください。同じ実行から2つの率を推定することになり、2つ目、つまり説明が正しいかどうかは、人が読むサンプルを必要とするからです。そして異論のプロンプトでは、修正はたいてい自社ドメインの外、正直な答えがリトリーバルされてくるコミュニティスレッドの側にあります。そこはオフサイトGEOのステージの領分です。

クラスの率が依存する3つのうち2つが、あなたではなくエンジンに属しているからです。1つ目は、そもそもAIの回答が出るかどうかです：55,393件のクエリを対象としたGoogle AI Overviewsの研究では、全体の発動率は13.7%、疑問形のクエリでは64.7%まで上がりました。⁵ クラスごとに言い回しは同じではありません：カテゴリ定義、適合性、異論のプロンプトは自然な疑問文ですが、候補リストのプロンプトはたいてい名詞句です。あるクラスが横ばいに見えるのは、そのプロンプトがめったに回答を発動させないからかもしれません。だからログには、回答が出たかどうかと、そこにあなたが入っていたかどうかを別々に記録します。

2つ目は、クラスの背後にある情報源の母集団が、ランキングされたリストでも安定した集合でもないことです。GoogleはAI OverviewsとAI Modeが1つのプロンプトをサブトピックにまたがる複数の検索へファンアウトさせうると文書化しており、¹⁰ 同じ監査では引用されたドメインの30%近くが1ページ目の結果に一度も現れていませんでした。⁵ 11,500件のクエリのベンチマークは、Googleのオーガニック、AI Overviews、GeminiのあいだでURLレベルのJaccard類似度が0.11から0.18であり、繰り返し実行のあいだの一貫性はさらに低いと報告しています。⁶ 3つのエンジンにまたがる反復サンプリングでは、ドメイン間の見かけ上の差の多くがノイズフロアの内側に収まりました。⁹ クラスの動きを自分の作業の成果とする前に、そのフロアと照らして読んでください。