プロンプトリサーチ · サンプルサイズ

プロンプトパネルはどれくらいの規模で、それぞれ何回実行すべきか。

回答に出てくるかどうかは、偏りの分からないコイン投げです。だから問題全体は、ふつうの比率の計算に還元されます。書き下してみると、この分野の数字の報告のしかたについて、居心地の悪いことを2つ言っています。

プロンプトリサーチのトピック12分で読了2026年8月30日更新出典11件：一次情報9件、ベンダー記述2件

このページの内容

短い答え

プロンプトおよそ40本をそれぞれ5回、エンジンごと期間ごとに実行する。これが公表に値する数字を生む最小のパネルです。観測200件、50%の出現率でおよそ±7ポイントの95% Wilson 区間になります。プロンプト1本を1回実行したときの区間は±45ポイント、5回でおよそ±33なので、報告単位はパネルであり、個々のプロンプトではありません。この分野の批判的サーベイは、サンプリングを制御できるサーフェスで、実行を繰り返すと判定の9%から28%が変わることを記録しています。1回の実行が隠すのは、この変動です。²

重要ポイント

数えるのは観測であって、プロンプトの本数ではありません。1件の観測とは、1本のプロンプトを1つのエンジンで1回実行することです。だから n はプロンプト数かける実行回数で、エンジンごとに別々に数えます。
安く買えるのは1本あたりおよそ5回までの実行で、そのあとがプロンプトです。エンジンごと期間ごとにおよそ600件の観測を超えると、上乗せした精度はエンジン自身のドリフトに消されます。
ここにある区間はすべて下限です。同じプロンプトの実行はクラスターになり、それを補正するための相関を誰も公表していないからです。パネルの出現率は、n とエンジンと日付を添えて公表してください。

式

出現率の背後にある計算は何か

出現率は標本比率です。どの実行も、あなたの名前を挙げるか挙げないかのどちらかです。それぞれの実行は、観測できない確率 p を持つベルヌーイ試行で、その p は1つのエンジン上の1本のプロンプトの1週間に属します。見えているのは、あなたの名前を挙げた実行の割合だけです。このページの区間はすべて95% Wilson スコア区間で、Brown、Cai、DasGupta が教科書的な正規近似の代わりに推奨しているものです。¹¹ 50%の割合では、その半値幅は 1.96 を「(n + 3.84) の平方根の2倍」で割った値になります。n はその数字の背後にある観測数です。

2つの約束事で、データがまだ1件もない段階から使えるようになります。p = 0.5 で評価すること。p(1−p) はそこで最大になるので、最悪ケースで計画すれば、約束した区間が実際に得られた区間より狭くなることはありません。そして、プロンプトではなく観測を数えること。n はプロンプト数かける実行回数で、エンジンごとに別々です。

逆に解けば、そのままパネルの規模が出ます。半値幅 w に届くには n = 0.96/w² − 3.84 件の観測が必要です。±10ポイントならおよそ92件、±7なら192件、±5なら380件です。このページの n はどれも研究の知見ではなくこの計算の結果なので、論文への脚注は付いていません。以下の出典は、この計算がどこで壊れるかと、その下でエンジンがどれだけ動くかのためのものです。

区間

サンプルサイズごとに区間はどれくらい広いか

どの行も、1つのエンジンの1つの期間について、同じ式を異なる n で計算したものです。

その数字の背後にある観測	n	50%の割合での95% Wilson 区間	正直に言えること
プロンプト1本を1回実行	1	±45ポイント	何も言えません。これは逸話です
プロンプト1本を5回実行	5	±33ポイント	そのプロンプト単体については何も
プロンプト1本を30回実行	30	±17ポイント	プロンプト単位の大きな動きだけ
プロンプト40本 × 1回	40	±15ポイント	おおまかな最初のベースライン
プロンプト40本 × 5回	200	±7ポイント	パネルの出現率、エンジンごと期間ごと
プロンプト80本 × 5回	400	±5ポイント	より狭い区間でのパネルの出現率
プロンプト60本 × 10回	600	±4ポイント	パネルの出現率と類型別の内訳
プロンプト60本 × 20回	1,200	±2.8ポイント	エンジンがそこまで止まっていてくれない精度

最初の4行は、ダッシュボードへの警告として読んでください。プロンプト単位のスコアに前週比の矢印を添えるのが、ほとんどの可視性レポートの既定の出力です。しかし5回の実行では、その矢印は±33ポイントの区間の中に引かれています。下で何も変わっていなくても、矢印はどちらにも向きます。そのプロンプトを30回実行しても、まだ±17が残ります。

最後の行は、予算の上限として読んでください。観測を600件から1,200件へ倍にして買えるのは、半値幅1.2ポイントです。これらのシステムが1週間と次の1週間のあいだに自力で動く幅より小さい値です。この分野の批判的サーベイは、日ごとの情報源の重なりをおよそ Jaccard 0.34 から 0.42 と置き、24時間以内の再実行も同程度だとしたうえで、結論をはっきり述べています。可視性は分布であり、「点推定は安定した指標ではない」と。²

報告単位

なぜ報告単位はパネルであり、プロンプトではないのか

パネルが報告単位なのは、使える区間を担えるだけの観測を背後に持つ、この設計の中で最小の対象だからです。現実的な実行回数での1本のプロンプトは、誰もが検出しようとしている効果より何倍も広い区間を抱えます。だからプロンプト単位の数字は、小さい測定ではありません。測定ではないのです。公表すべき文はこうなります。パネル全体で回答の34%に名前が出た、±7、1つのエンジンでプロンプト40本を5回ずつ、8月24日の週、パネルのバージョンは3。

個々のプロンプトには、指標ではなく展示物としての居場所があります。1本のプロンプトの回答本文は、パネルの出現率がなぜその値なのかを語る唯一のものです。そして毎期いくつかを手で読むことが、誤った表現を捕まえる方法です。Tow センターが8つのエンジンで1,600件のクエリを監査したところ、これらのツールはその60%超に誤った答えを返していました。出現フラグは、それを勝ちとして記録します。⁷

エンジンをまとめることも決してしません。SIGIR 2026 の11,500クエリの研究は、1社が持つ3つの回答サーフェスのあいだで URL 単位の Jaccard 類似度を0.11から0.18と測定しました。³ それ以前の672件のフェーズ別回答の監査では、355の独自ドメインのうち、テストした両システムに引用されたのは26%だけでした。⁴ エンジンをまたいで混ぜた出現率は、ほとんど交わらない母集団を平均するもので、この指標が存在する唯一の問い、つまり次にどのエンジンに取り組むかに答えられません。パネルは検索順位の代理でもありません。2025年9月の4,706クエリの AI Overviews 監査では、参照されたドメインの53%がオーガニック上位10位の外にありました。⁵ 2026年春の55,393クエリの研究では、引用されたドメインの29.8%が1ページ目全体に存在しませんでした。⁶

配分

プロンプトを増やすべきか、実行を増やすべきか

まず実行を買います。1本あたりおよそ5回までです。次にプロンプトを買い、エンジンごと期間ごとにおよそ600件の観測で止めます。総数が同じなら区間はどちらでも同一です。n はプロンプト数かける実行回数にすぎないからです。だから問題は、それぞれの買い物が区間のほかに何を買うかです。実行は、すでに聞くと決めた問いについての精度を買います。プロンプトは、選び間違えたかもしれない問いのカバー範囲を買います。後者は初期には大きなリスクで、後半には小さなリスクです。

実行が先なのは、最初の数回が異常に安いからです。40本のパネルを1回から5回にすると、区間は±15から±7になり、追加の収集は160件です。5回ずつのままプロンプトを40本から80本にしても、±7から±5にしかならず、200件かかります。5回を超えると曲線は寝てきます。そしてプロンプトを増やす理由は、いま見えていない意図を測るという理由に変わります。それは6つのプロンプト類型の話です。

上限を決めるのは計算ではなくエンジンです。2025年7月14日から10月12日までの、プロンプト230,000本と1億件を超える引用を対象にしたあるベンダーの時系列は、ある大きなフォーラムドメインの、あるアシスタントでの引用率が、8月初旬から9月中旬にかけて回答のおよそ60%からおよそ10%まで下がったことを記録しています。⁹ 査読ではなくベンダーの公表ですが、サーベイは「商用エンジンは互いに異なり、時間とともに変化する」を高い確信度で評価しています。²

コストを具体的に。プロンプト40本を5回、5つのエンジンで回すと週1,000件の収集です。60本を10回なら3,000件です。読むコストも一様ではありません。これまでで唯一の学術的な引用分類は、3つのアシスタントでプロンプトあたりの平均引用数を6.88、12.06、16.35と測定しました。⁸

文献

公開研究は実行回数を推奨しているか

しています。そして公表されている唯一の提案は5回より多いです。2026年の批判的サーベイは、出発点としてプロンプトあたり7回から8回の反復という提案を記録し、同じ息で限定も付けています。この数は「普遍的な基準ではない」、スイスのクエリという小さな母集団と、最大10回の反復から導かれたものだ、と。²

代わりに推奨しているのは逐次的な精度分析です。関心のある量のまわりの区間が、目の前の意思決定に足りるだけ狭くなるまで測定を繰り返す、というものです。これは上の表を逆に使うことです。40本を5回ずつなら「パネルは7ポイントより大きく動いたか」に答えられます。同じ40本を8回ずつなら観測320件、区間は±5.4になり、収集がまかなえる場合には、2つのうち出典に裏づけられているのはこちらです。

留意点

この計算はどこで成り立たなくなるか

3か所で成り立たなくなり、そのうち2つはあなたにも当てはまります。1つ目は極端な出現率です。Wilson 区間は0と1の内側にとどまりますが、教科書的な正規近似はそうなりません。このページがこれを使う理由がそこにあります。成り立たなくなるのは対称性です。観測200件で2%の割合なら、区間は0.8%から5.0%になります。だから半値幅ではなく両端を示してください。実行がクラスターになる場合や件数が非常に少ない場合は、ブートストラップのほうが安全な道具です。2026年の AI 可視性の統計的な扱いも、引用の分布がべき乗則の形をしていること、ドメイン間の見かけ上の差の多くが測定のノイズフロアの内側にあることを見つけたうえで、そう推奨しています。¹

2つ目は、同じプロンプトの実行が独立した抽出ではないことです。実行はクエリとリトリーバル経路を共有し、しばしばキャッシュも共有するので、クラスターになります。そしてクラスター化した観測は、同じ件数の独立な観測より情報が少なくなります。標準的な補正はデザイン効果です。1 + (m − 1) × 級内相関で、m は1本あたりの実行回数です。5回で相関が0.5なら係数は3になり、観測200件は67件のようにふるまいます。区間は±7ではなくおよそ±12です。AI 回答での出現について、この相関を推定した公表研究はありません。だから実行は1回のバッチで撃たず、日をまたいで散らしてください。そしてこのページの区間はすべて下限として読んでください。

3つ目は、この式が、標本を取っているあいだ p は動かなかったと仮定していることです。1週間ならおおむね擁護できますが、四半期では擁護できません。長い間隔をまたいで比べたパネルの出現率は、あなたの仕事とエンジンの変化をまとめて測っており、切り分ける方法はありません。以上はすべて、1つの数字のまわりの期間内の区間でもあります。2つの期間のあいだの変化が本物かどうかは2標本比率の計算で、必要な条件ははるかに大きく、AI 可視性の測定のステージの話になります。

この記事の正直な限界

ここにある数字はどれも、おおよそしか正しくない仮定に計算を当てはめたものです。出現を、確率が安定した交換可能なベルヌーイ試行として扱うことが、この式を機能させています。そしてプロンプト内のクラスター化、週内のドリフト、プロンプト間の差は、いずれも測られていない量だけそれを破ります。したがってこれらの区間は、最良の場合の幅です。この方法で規模を決めたパネルの出現率が、商業的な何かを追跡しているという外部の検証もありません。この分野自身のサーベイは、引用スコアがクリック、コンバージョン、売上を予測するという主張を非常に低い確信度で評価しています。²

製品が役に立つ場面と、立たない場面

これにソフトウェアは要りません。区間は表計算の1セル、1.96 を「(n + 3.84) の平方根の2倍」で割った値です。スケールしないのは収集のほうです。プロンプト40本、5回の実行、5つのエンジンで週に千件の回答になり、その量になると手作業の収集は面倒であることをやめて、信頼できないものになります。退屈した人は実行を飛ばし、飛ばされた実行こそ、この計算に見えない失敗だからです。Bavior は固定したプロンプトセットを5つのエンジンに定期実行し、各回答が引用した情報源を記録するので、分母が欠けません。小さな標本を実際以上の意味にすることはできませんし、7ポイントの区間の中の4ポイントの動きを結果と呼ぶかどうかは、あなたの判断のままです。無料 AI 可視性チェッカーと無料 GEO 診断は有料プランなしで使えます。有料プランは月払いで月額 $99 から、年払いなら月額 $79.17 です（2026年8月30日時点）。

出典、すべて2026年8月30日に確認

Sielinski「Quantifying Uncertainty in AI Visibility」2026年3月、arXiv:2603.08924（プレプリント）。引用分布はべき乗則の形、差はノイズフロアの内側：arxiv.org/abs/2603.08924
「A Critical Survey of Generative Engine Optimization (2023–2026)」2026年7月15日、arXiv:2607.14035。日ごとの情報源単位の Jaccard 0.34–0.42、繰り返しによる判定変化9–28%、7回から8回の反復という提案、確信度の表：arxiv.org/abs/2607.14035
Grossman ほか、SIGIR 2026。11,500クエリ。Google オーガニック、AI Overviews、Gemini のあいだで URL 単位の Jaccard 0.11–0.18：arxiv.org/abs/2604.27790
Li と Sinnamon、2024。1,008件の回答を監査し、672件をフェーズ別に分析、355の独自ドメインのうち26%が両システムに引用
Kirsten ほか、Findings of ACL 2026。Google AI Overviews の4,706クエリ監査、2025年9月に発行。参照されたドメインの53%がオーガニック上位10位の外：aclanthology.org/2026.findings-acl.526
Xu、Iqbal、Montgomery、2026（プレプリント）。55,393件のトレンドクエリ、2026年3月13日から4月21日。引用されたドメインの29.8%が1ページ目に不在：arxiv.org/abs/2605.14021
Jaźwińska と Chandrasekar「AI Search Has a Citation Problem」コロンビア大学 Tow センター、2025年3月6日。8つのエンジン、1,600クエリ、その60%超に誤った回答：cjr.org
Zhang、He、Yao「From Citation Selection to Citation Absorption」arXiv:2604.25707（プレプリント）。602の統制されたプロンプト、21,143件の検索レイヤー引用。プロンプトあたりの平均引用数は 6.88 / 12.06 / 16.35：arxiv.org/abs/2604.25707
プロンプト230,000本と1億件を超える引用を対象にしたベンダー研究、2025年7月14日から10月12日、3つのアシスタント。ある大きなフォーラムドメインの、あるアシスタントでの引用率が、2025年8月初旬から9月中旬にかけて回答の約60%から約10%へ低下。ベンダーの公表なので、リンクせず記述にとどめます。
米国の AI 検索プロンプト1.26億件のベンダー指数、2026年1月から4月。あるアシスタントは1回答あたり平均15の情報源を引用し、別のアシスタントは3。そして36のブランドが、測定されたすべてのプラットフォームで可視性を保ちました。ベンダーの公表なので、リンクせず記述にとどめます。
Brown、Cai、DasGupta「Interval Estimation for a Binomial Proportion」Statistical Science 16(2)、2001。正規近似のカバレッジは0と1の近くで不安定：doi.org/10.1214/ss/1009213286

続けて読む

GEO を学ぶ GEO ロードマップ GEO を学ぶ前の記事：6つのプロンプト類型 GEO を学ぶ次の記事：記録する10フィールド

よくある質問

よく聞かれることを、まとめました。

プロンプト40本はルールですか、それともきりのいい数字ですか。

計算にいちばん近い、きりのいい数字です。50%の出現率で±7ポイントの Wilson 区間に届くには観測192件が必要で、プロンプト40本を5回ずつなら200件になります。つまりこの40は、ほしい区間と払える実行回数から来ていて、プロンプトそのものの性質から来ているのではありません。プロンプト20本を10回ずつでも同じ観測200件、同じ区間になり、購買意欲のカバー範囲だけが狭くなります。分け方は、正しい問いを選べたとどれだけ確信できるかで決め、総数は、公表してもよい区間の広さで決めてください。

なぜ3回ではなく5回なのですか。

5回は安い精度が尽きる場所であって、証拠に裏づけられたしきい値ではありません。40本のパネルでは、1回で±15ポイントの区間、3回でおよそ±9、5回でおよそ±7です。6回目が買うのは0.6ポイントで、それ以降の1回はどれも1ポイントの半分に届きません。収集が高くつくなら3回は擁護できる節約で、隠さずレポートに書くべきです。±9の区間は、どの動きを結果と呼んでよいかを変えるからです。正確な数そのものより大事なのは、それが期間をまたいで変わらないことです。

収集をすべて同じ午前中に回してもよいですか。

まとめて回すと、推定を良くしないまま見かけの区間が狭くなるので、実行は日をまたいで散らしてください。数分以内に撃たれた実行はリトリーバルの状態を共有し、しばしばキャッシュも共有します。そのため、本当に独立な2回の抽出よりも互いに似てしまい、観測はクラスターになります。そしてクラスター化した観測は、その件数が示すより少ない情報しか運びません。この補正にはデザイン効果という名前がありますが、AI の回答についてそれを計算するのに必要な相関を、公表された研究は誰も供給していません。実行を散らすのは、それを必要としないための安い方法です。

変化が本物かどうかを見極めるのとは、どう違うのですか。

このページは1つの数字のまわりの区間を決めます。前後の差を検定するのは2標本比率の比較で、何倍もの観測が必要です。30%を基準にすると、20ポイントの動きの検出には1期間あたりおよそ91件、10ポイントならおよそ353件、5ポイントならおよそ1,372件の観測がかかります。だから週200件の観測のパネルは、大きな変化より小さいものを正直に検出することはできません。これらの数字は、AI可視性の測定における AI 可視性の測定で解いた2標本比率の式であり、誰かに月次のトレンドラインを約束する前に読むべき、いちばん役に立つ1本です。

Bavior 編集部

Reddit マーケティングと AI 検索可視性に関する Bavior のコンテンツを調査・管理しているチームです。記事中のすべての数値には出典と確認日を明記しており、アフィリエイトリンクは一切使用していません。

数値に誤りを見つけたらお知らせください。再確認します: support@bavior.com