어떤 크롤러 토큰이 중요하고, 차단하면 안 되는 것은 무엇입니까?

Google-Extended는 두 번 읽을 값어치가 있는 행입니다. Google 문서는 이를, 크롤링한 콘텐츠를 “미래 세대 Gemini 모델의 학습에” 쓸 수 있는지, 그리고 “Gemini Apps와 Vertex AI의 Grounding with Google Search에서 그라운딩(사실성과 관련성을 높이기 위해 프롬프트 시점에 Google 검색 색인의 콘텐츠를 모델에 제공하는 것)에” 쓸 수 있는지를 관리하는 토큰으로 설명합니다. 같은 항목은 Google-Extended가 “사이트의 Google 검색 등록에 영향을 주지 않으며 Google 검색의 순위 신호로도 쓰이지 않는다”고도 밝힙니다.⁵ 두 절반은 동시에 성립하고, 합치면 대부분의 글이 놓치는 선이 그어집니다. Google-Extended를 금지하는 것은 Gemini 어시스턴트에서 내려오겠다는 결정이지, AI Overviews에 대한 결정이 아닙니다.

AI Overviews와 AI Mode는 그 선의 반대편에 있습니다. 그것들이 곧 검색이기 때문입니다. Google은 통제 수단을 직접 지목합니다. “AI는 검색에 내장되어 있고 검색이 작동하는 방식에 필수적이며, 그래서 사이트 소유자가 접근을 관리하는 수단은 Googlebot을 대상으로 한 robots.txt 지시문입니다.” 페이지의 어디까지 보여도 되는지를 정하는 레버는 nosnippet, data-nosnippet, max-snippet, noindex입니다.⁷ Google-Extended는 바로 다음 문장에서 “Google의 다른 일부 시스템에서의 AI 학습과 그라운딩”용으로 제시됩니다.

나머지 행도 똑같이 문자 그대로 읽을 값어치가 있습니다. OpenAI의 표현은 흔한 요약보다 좁습니다. OAI-SearchBot을 옵트아웃한 사이트는 “ChatGPT 검색 답변에는 표시되지 않지만, 내비게이션 링크로는 나타날 수 있습니다”.¹ Apple의 Applebot-Extended는 애초에 크롤러가 아닙니다. 문서가 “웹페이지를 크롤링하지 않는다”고 밝히고, 오직 “Applebot이라는 user agent가 크롤링한 데이터를 어떻게 쓸지 정하기” 위해서만 존재하기 때문입니다.⁴

대체로 지키지 않고, 각 벤더가 그렇게 밝힙니다. OpenAI는 ChatGPT-User가 사람이 물었을 때 페이지를 방문한다는 것, “이 동작은 사용자가 시작한 것이므로 robots.txt 규칙이 적용되지 않을 수 있다”는 것, 그리고 그것이 “콘텐츠가 검색에 나타나도 되는지를 판단하는 데 쓰이지 않는다”는 것을 문서화합니다.¹ Perplexity도 Perplexity-User를 같은 방식으로 문서화합니다. “사용자가 페치를 요청했으므로 이 페처는 일반적으로 robots.txt 규칙을 무시합니다.”³ Google은 이 규칙을 부류 전체에 적용해 “페치가 사용자의 요청으로 이루어졌으므로 이 페처들은 일반적으로 robots.txt 규칙을 무시합니다”라고 씁니다. 이 부류에는 이제 Google-Agent가 포함되는데, Google 인프라 위의 에이전트가 사용자의 요청에 따라 탐색하고 행동하는 데 씁니다.⁶

Anthropic이 예외이고, 쓸모 있는 쪽의 예외입니다. Claude-User는 ClaudeBot, Claude-SearchBot과 같은 표에 발행자가 접근 권한을 정하는 로봇으로 들어 있습니다. 이를 비활성화하면 “사용자 쿼리에 응답해 저희 시스템이 콘텐츠를 리트리벌하는 것을 막고, 사용자가 주도하는 웹 검색에서 사이트의 가시성을 떨어뜨릴 수 있습니다”.²

결정은 취향이 아니라 그 비대칭에서 나옵니다. 넷 중 셋은 결정할 것이 없습니다. 네 번째는 답이 거의 언제나 허용을 유지하는 쪽입니다. 사용자 트리거 페치는 지금 이 순간 누군가 한 사람이 여러분에 대해 묻고 있다는 뜻이기 때문입니다. 어떤 페이지를 정말로 읽히면 안 된다면, robots.txt는 애초에 그 수단이 아니었습니다. 인증이 그 수단입니다.

올해 이 목록들이, 그것도 결정에 닿는 방식으로 움직였기 때문입니다. OpenAI는 이제 네 번째 토큰 OAI-AdsBot을 문서화합니다. 이것은 “광고로 제출된 페이지만 방문하며” 그 데이터는 “생성형 AI 기반 모델 학습에 쓰이지 않습니다”.¹ Google은 크롤러 문서를 Search Central 밖으로 옮겼습니다. /search/docs/crawling-indexing/ 아래의 옛 경로는 이제 별도의 크롤링 섹션으로 리다이렉트됩니다. 2026년 8월 30일 확인했습니다.⁵⁶ 그리고 Google-NotebookLM은 그곳에 2026년 8월까지 지원되던 예전 에이전트로만 남아 있고 Google-GeminiNotebook으로 대체되었으니, 그 창은 이번 달에 닫힙니다.⁶

Google의 페처 문서는 agent.bot.goog라는 신원으로 진행하는 Web Bot Auth 프로토콜 실험도 언급합니다.⁶ 이는 크롤러의 신원을 스스로 신고하는 헤더 문자열에서 서명된 무언가로 옮기게 됩니다. 그것이 보통이 되면, 텍스트 파일 속 이름은 더 이상 결정의 단위가 아닙니다.

Google의 두 페이지 모두 목록이 “전부는 아니다”라고 밝히고 있고, 세 번째 페이지가 특수한 경우의 크롤러를 다룹니다. 그러니 위 토큰들은 전수 조사가 아니라 하한으로 다루십시오. 그다음은 화려하지 않습니다. 캘린더에 반복 알림을 넣고, 벤더 다섯 곳의 페이지를 다시 읽고, 여러분 파일이 전제하는 내용과 대조하십시오. 한 번 써 놓은 robots.txt는 여러분을 대신해 계속 결정을 내리고, 그것이 만드는 실패는 소리가 없습니다.