왜 크롤링 가능성과 색인 등록이 인용 여부를 결정할까요?

Google이 요구하는 것은 정확히 하나이고, 그것은 색인 등록 요건입니다. “페이지는 색인에 등록되어 있어야 하고, 스니펫과 함께 Google 검색에 표시될 자격이 있어야 하며, 검색 기술 요건을 충족해야 합니다.” 같은 문서 묶음은 생성형 기능이 “우리의 핵심 검색 순위 및 품질 시스템에 뿌리를 두고 있다”고 밝히고, “AI Overviews나 AI Mode에 표시되기 위한 추가 요건은 없고 다른 특별한 최적화도 필요하지 않다”고 하며, “이 기능들에 표시되기 위해 새로운 기계 판독 파일이나 AI 텍스트 파일, 마크업을 만들 필요가 없습니다. 따로 넣어야 할 특별한 schema.org 구조화 데이터도 없습니다”라고 밝힙니다.¹

이것은 격려가 아니라 경계선으로 읽으십시오. 유료 조언 한 부류가 통째로 배제됩니다. AI 전용 마크업, AI 전용 파일, AI 전용 제출입니다. 부담은 색인될 수 있고, 가져와질 수 있고, 스니펫 대상이 되는 평범한 작업으로 돌아갑니다. 같은 문서는 Google 검색이 llms.txt를 무시한다고 밝히는데, 이는 지난 2년간 가장 인기 있던 AI 파일 제안을, 그 제안이 영향을 주려 했던 바로 그 엔진의 권위로 퇴장시킨 셈입니다.

검색 쪽 통제 수단 두 가지는 실제로 작동하니 정확히 알아 둘 값어치가 있습니다. nosnippet, max-snippet, data-nosnippet은 Google이 여러분의 페이지에서 무엇을 보여도 되는지를 제한하고, noindex는 페이지를 통째로 제거합니다. 학습 크롤러 차단은 이 목록에 없습니다. 이유는 네 번째 절에서 다룹니다.

가장 먼저 확인할 항목이 될 만큼 자주 실패합니다. 2026년의 한 프리프린트는(비판적 서베이를 통해 보고됨) AI 답변에 이미 인용된 URL의 27.1%가 접근 불가, 삭제됨, 텍스트가 아님을 이유로 스크래핑되지 않았다는 것을 발견했고, 별도로 실제 가져온 19,154개 페이지 가운데 약 16%를 AI 생성으로 분류했습니다.² 분모는 짚고 넘어갈 만합니다. 이 수치가 재는 것은 제3자 연구자가 인용된 URL을 가져올 수 있었는지이지, 그것을 인용한 엔진이 가져올 수 있었는지가 아닙니다. 실패 양상은 하나같이 평범합니다. 로그인 장벽, 동의 인터스티셜, 봇을 막는 WAF 규칙, 이미지뿐인 페이지, 그새 404가 된 URL. 하나하나가 기술 티켓이지 콘텐츠 결정이 아닙니다.

접근을 두고 방향이 반대인 오해가 둘 있습니다. 첫째는 페이월이 있으면 AI 답변에 나오지 않는다는 것입니다. 2025년 4월에 수집된 미국 롱테일 뉴스 쿼리 10만 건을 다룬 한 벤더 연구는, 어느 주요 신문의 AI Overview 인용 가운데 96%가 넘게 페이월 뒤 콘텐츠를 가리키고 있음을 발견했습니다. Google의 유연한 샘플링이 Googlebot을 페이월 안쪽까지 들여보내기 때문입니다. 벤더 공표 자료이므로, 이 커리큘럼의 출처 규칙에 따라 링크하지 않고 기술만 합니다.

둘째는 크롤러를 차단하면 요약당하지 않는다는 것입니다. 컬럼비아대 Tow Center가 2025년 10월에 시험한 결과, 에이전트형 브라우저는 9,000단어짜리 구독자 전용 기사를 가져왔지만 같은 두 제품의 표준 인터페이스는 가져오지 못했습니다. 발행사가 차단한 것은 그 크롤러들이었고, 브라우저는 서버 로그에서 Chrome과 구분되지 않기 때문입니다. 차단이 실제로 버틴 경우, 에이전트는 “그 기사에 관한 트윗, 전재본, 다른 매체의 인용, 웹 전반의 관련 보도를 끌어와 복합 요약을 만들어” 냈습니다.⁶ 차단이 바꾸는 것은 트래픽이 누구에게 가느냐이지, 여러분을 답변에서 없애는 것이 아닙니다.

robots.txt는 요청이고, 집행하는 것은 여러분의 서버입니다. 그리고 이 둘은 누구의 예상보다도 자주 어긋납니다. 봇 차단 규칙 하나, 레이트 리미터 하나, 지역 차단 하나가 robots.txt가 명시적으로 허용한 크롤러를 떨어뜨릴 수 있습니다. 게다가 그것을 알려 주는 곳은 어디에도 없습니다. 끝내 완료되지 않은 가져오기는, 빠졌다고 알아챌 만한 흔적을 남기지 않기 때문입니다. 이 틈은 위의 27.1%와 같은 계열의 문제이고, 엔진 내부 동작과 달리 통째로 여러분이 점검할 수 있는 영역에 있습니다.

설정 파일이 아니라 액세스 로그를 보고, 이름이 아니라 주소로 대조하십시오. 위 표의 업체는 모두 바로 이 용도로 기계가 읽을 수 있는 IP 대역을 공개합니다. OpenAI는 OAI-SearchBot, GPTBot, ChatGPT-User에 대해 토큰마다 JSON 파일을 하나씩 제시합니다.³ Perplexity는 PerplexityBot용과 Perplexity-User용을 하나씩 공개하고, 방화벽 운영자에게 그 엔드포인트를 기준으로 삼으라고 안내합니다.⁵ Google은 common-crawlers.json과 함께 특수 사례 크롤러 및 사용자 트리거형 페처용 별도 파일을 공개하고, 수동 대안도 문서화했습니다. 가져오는 주소에 대한 역방향 DNS 조회가 googlebot.com, google.com, googleusercontent.com 중 하나로 해석되어야 하고, 이어서 정방향 조회로 같은 주소로 돌아와야 합니다.¹⁰

행동으로 옮길 만한 귀결이 둘 있습니다. user-agent 문자열은 증거가 아닙니다. 그래서 이름으로 허용한다는 것은 그 이름을 보낼 의향이 있는 것이면 무엇이든 들여보낸다는 뜻이고, 이름으로 차단해도 중요한 것은 하나도 막히지 않습니다. 또 하나, 페이지가 살아 있고 허용되어 있는데도 어떤 검색 토큰의 성공한 가져오기가 일주일 내내 하나도 없다면, 차단은 robots.txt와 오리진 사이에 있습니다. 그것은 SEO 티켓이 아니라 방화벽 티켓입니다.