연속된 두 개의 온전한 기간 동안 모든 엔진에서 같은 결과를 돌려주고, 그 연속 기록 뒤에 쌓인 실행 횟수가 그 연속을 의미 있게 만들 만큼 많을 때 프롬프트는 변별력을 잃은 것입니다. 뒷부분이 바로 팀이 건너뛰는 대목이고, 건너뛰면 한 번도 측정된 적 없는 프롬프트를 폐기하게 됩니다. n회 실행에서 출현이 0이면 참 출현율의 95% 상한은 대략 3/n입니다. 5회면 그 상한이 45%, 10회면 30%, 30회면 10%, 60회면 5%입니다. 열 번 빈손으로 돌아온 프롬프트는 세 번에 한 번에 가까운 실제 출현율과 조금도 모순되지 않습니다.
그러니 기준을 연속 횟수가 아니라 상한에 두십시오. 누적 실행 횟수가 상한을 정말 신경 쓰지 않아도 되는 자리까지 눌러 내렸을 때에만 지속된 0을 이유로 폐기합니다. 실무에서는 엔진당 약 60회 관측입니다. 같은 산수는 거꾸로도 작동해서, 60회 연속 출현은 하한을 95% 근처로 올립니다. 포화된 프롬프트 두세 개를 경보선으로 패널에 남겨 두십시오. 늘 이기던 프롬프트가 갑자기 떨어졌다면 큰일이 벌어진 것입니다.
같은 실패의 더 조용한 형태도 있습니다. 출현율이 중간 수준에서 안정적인데 답변 문면은 전혀 바뀌지 않는 프롬프트입니다. 그것은 살아 있는 경쟁이 아니라 고정된 리트리벌을 측정하는 것이고, 대개 시장이 아니라 여러분의 수집 설정에 관한 사실을 보고합니다.