GEO 프로그램의 첫 90일은 어떤 모습이어야 할까?

이유는 프로젝트 관리 관행이 아닙니다. 당신이 아무것도 건드리지 않을 때 측정이 어떻게 움직이는지가 이유입니다. 2026년 비판적 서베이가 재현성 근거를 한곳에 모아 놓았습니다. 4,706건 쿼리 감사가 동료 심사를 거친 Kirsten 등은, temperature를 0으로 두고 실행을 반복하면 판정의 9~28%가 바뀐다는 것을 발견했습니다.² Schulte 등은 작은 스위스 쿼리 집합에 대해 네 개 엔진을 45일간 관찰해, 일별 출처 수준 Jaccard가 0.34에서 0.42 사이임을 기록했습니다.¹

둘을 같이 읽으십시오. 어느 날이든 엔진이 당신의 프롬프트 집합에 대해 인용하는 출처의 상당 부분은 어제와 다릅니다. 당신 쪽에서는 아무것도 바뀌지 않았는데도 그렇습니다. 개입이 이겨야 하는 것이 바로 이것이고, 베이스라인이 한 번의 판독이 아니라 분포인 이유도 이것입니다. 프롬프트 하나를 한 번 실행한 결과는 엔진에 대해서는 거의 말해주지 않고, 그것을 실행한 그 1분에 대해서는 많이 말해줍니다.

쓸 만한 구간을 얻으려면 프롬프트와 실행이 얼마나 필요한지는 패널 규모에서, 어떤 패널 규모가 무엇을 감지할 수 있고 없는지는 통계적 검정력에서 다룹니다. 여기서는 반복하지 않습니다. 이 글은 결론만 가져옵니다. 보고 단위는 패널이고, 개별 프롬프트는 결코 보고 단위가 아닙니다.

일정에 대한 결과는 마감을 정한 사람에게 소리 내어 말할 가치가 있습니다. 90일 안에 신뢰할 만한 베이스라인을 세우고, 수정을 배포하고, 패널을 한 번 다시 읽을 수 있습니다. 하지만 특정 콘텐츠 변경이 특정 움직임을 일으켰다는 것까지 증명할 수는 없습니다. 표류하는 계측기를 상대로 한 번의 전후 비교는 그 무게를 감당하지 못하기 때문입니다. 그 말을 하기에는 12주차보다 1주차가 훨씬 나은 시점입니다.

콘텐츠가 5주차에 오는 데에는 베이스라인이 없다는 것 말고 두 번째 이유가 있습니다. 공개된 콘텐츠 쪽 개입의 효과 크기는 작고, 그중 몇은 음수입니다. 열 가지 방법을 다룬 NeurIPS 2025 벤치마크 C-SEO Bench는 그 대부분이 “대체로 효과가 없을 뿐 아니라 문서 순위에 부정적 영향을 주는 경우도 잦다”고 보고하며, 54개 사례 중 통계적으로 유의한 순위 개선을 보인 것은 3개뿐이었다고 밝힙니다.⁴ KDD 2026의 SAGEO Arena는 모델에 고정된 맥락을 건네는 대신 리트리벌과 재순위화를 되살렸고, 본문만 최적화했을 때 대표 평균 세 개가 0.58, 1.00, 0.50에서 0.53, 0.84, 0.47로 내려가는 것을 발견했습니다. 각각 9%, 16%, 6%씩 반대 방향입니다.⁵ 그렇게 작은 효과는 계측기 뒤에 놓여야 합니다.

분기를 거꾸로 진행한 팀이 이 실패를 구체적으로 보여줍니다. 그들은 6주짜리 콘텐츠 스프린트로 시작했습니다. 콘텐츠는 모두가 할 줄 아는 부분이었기 때문입니다. 측정은 7주차에 시작했고, 12주차에는 방어할 수 없는 상승 곡선을 손에 쥐고 있었습니다. 엔진이 무엇을 봤는지 누군가 기록하기 전에 페이지가 바뀌었으므로 “이전”은 기억일 뿐이었습니다. 패널은 프롬프트 22개에서 60개로 커졌으므로 분모가 분자와 함께 움직였습니다. 홀드아웃이 없었으므로, 모든 것을 끌어올린 플랫폼 쪽 변경은 스프린트가 먹힌 것과 똑같아 보였습니다. 작업 자체는 어느 것도 나쁘지 않았습니다. 순서가 그것을 무효로 만들었습니다.

혼합 점수 항목이 이 목록에 오른 것은 취향이 아니라 측정 때문입니다. 대표 쿼리 11,500건을 다룬 SIGIR 2026 연구는 Google 자연 검색 결과, AI Overviews, Gemini 사이의 URL 수준 Jaccard 유사도를 0.11에서 0.18로 측정했습니다.³ Jaccard는 교집합을 합집합으로 나눈 값이지 인용된 URL의 비중이 아니며, 그 수준이면 세 면은 거의 겹치지 않습니다. 그것들을 평균한 값은 누구도 방문할 수 없는 엔진을 기술합니다.