GEOプログラムの最初の90日はどんな形であるべきか？

理由はプロジェクト管理の慣習ではありません。あなたが何も触らないときに測定がどう動くか、それが理由です。2026年の批判的サーベイは、再現性の証拠を一か所にまとめています。4,706件のクエリ監査が査読を経ている Kirsten らは、temperature をゼロにして実行を繰り返すと判定の9〜28%が変わることを見つけました。² Schulte らは、小規模なスイスのクエリ集合について4つのエンジンを45日間観察し、日次の出典レベルの Jaccard が0.34〜0.42であったと記録しています。¹

この2つを並べて読んでください。ある日、エンジンがあなたのプロンプト集合に対して引用する出典のかなりの部分は、前日とは違います。あなたの側では何も変わっていないのにです。介入はこれを上回らなければなりません。ベースラインが1回の読み取りではなく分布である理由もそこにあります。1つのプロンプトの1回の実行が語るのは、エンジンについてはわずかで、それを実行した1分間についてはたくさんです。

使える幅を買うのにプロンプトと実行回数がどれだけ要るかはパネルの規模で、あるパネル規模が何を検出でき何を検出できないかは統計的検出力で扱っています。ここでは繰り返しません。本記事が取るのは結論だけです。報告の単位はパネルであり、個々のプロンプトは決して報告の単位になりません。

カレンダーへの帰結は、その期限を決めた人にはっきり言っておく価値があります。90日以内なら、信頼できるベースラインを確立し、修正をリリースし、パネルを1回読み直すことはできます。しかし、特定のコンテンツ変更が特定の動きを引き起こしたと証明することまではできません。ドリフトする計測器に対する1回の前後比較では、その重さを支えられないからです。それを言うなら、第12週よりも第1週のほうがはるかに良いタイミングです。

コンテンツが第5週に来るのは、ベースラインがまだない以外にもう1つ理由があります。公表されているコンテンツ側の介入の効果量は小さく、いくつかは負の値なのです。NeurIPS 2025 の10手法のベンチマークである C-SEO Bench は、その多くが「大部分が効果がないだけでなく、文書のランキングに負の影響を与えることも多い」と報告し、54件のうち統計的に有意なランキング改善を示したのは3件だけだったとしています。⁴ KDD 2026 の SAGEO Arena は、モデルに固定のコンテキストを渡す代わりにリトリーバルと再ランキングを復元し、本文だけの最適化が3つの主要平均を0.58、1.00、0.50から0.53、0.84、0.47へ動かすことを見つけました。それぞれ9%、16%、6%の逆方向です。⁵ それほど小さい効果は、計測器の後ろに置くしかありません。

四半期を逆順にやったチームが、この失敗を具体的にしてくれます。彼らは6週間のコンテンツスプリントで始めました。コンテンツは全員がやり方を知っている部分だったからです。測定を始めたのは第7週で、第12週には擁護できない上昇線が手元にありました。エンジンが何を見ていたかを誰かが記録する前にページが変わっていたので、「前」は記憶でしかありませんでした。パネルは22個のプロンプトから60個に育っていたので、分母が分子と一緒に動きました。ホールドアウトがなかったので、すべてを押し上げたプラットフォーム側の変更は、スプリントが効いているのと見分けがつきませんでした。仕事そのものはどれも悪くありません。順序がそれを無効にしたのです。

合成スコアの項目が並ぶのは、好みではなく測定によります。SIGIR 2026 の11,500件の代表的クエリを対象とした研究は、Google の自然検索結果、AI Overviews、Gemini の間で URL レベルの Jaccard 類似度が0.11〜0.18であることを測定しました。³ Jaccard は積集合を和集合で割ったものであり、引用されたURLの占有率ではありません。この水準では、3つの面はほぼ交わりません。それらを平均した数字は、誰も訪れられないエンジンを記述しています。