連続する2つの完全な期間、すべてのエンジンで同じ結果を返し、しかもその連続の裏にある実行回数がそれを意味あるものにするだけ多いとき、そのプロンプトは識別力を失っています。後半こそがチームの飛ばす部分で、飛ばすと一度も測っていないプロンプトを廃止することになります。n回の実行で出現がゼロなら、真の出現率の95%上限はおよそ3/nです。5回ならその上限は45%、10回なら30%、30回なら10%、60回なら5%になります。10回空振りしたプロンプトは、3回に1回近い実際の出現率とまったく矛盾しません。
ですから基準は連続回数ではなく上限に置いてください。積み上がった実行回数が上限を本当にどうでもいい水準まで押し下げてはじめて、ゼロの継続を理由に廃止します。実務ではエンジンあたり60観測ほどです。同じ計算は逆向きにも働き、60回連続で出現すれば下限は95%近くまで上がります。飽和したプロンプトを2、3本、命綱としてパネルに残しておいてください。いつも勝っているプロンプトが急に落ちたなら、大きな何かが起きています。
同じ失敗のもっと静かな形もあります。出現率が中程度で安定していて、答えの文面がまったく変わらないプロンプトです。それは生きた競争ではなく固定されたリトリーバルを測っており、たいてい市場ではなく自分の収集設定についての事実を報告しています。