홈/GEO 배우기/크롤러 로그 읽기
AI 가시성 측정 · 크롤러 쪽

GEO를 위해 AI 크롤러 로그를 어떻게 읽습니까?

답변 쪽 샘플링은 결과를 알려주고, 서버 로그는 입력이 애초에 도달했는지를 알려줍니다. 분석 전체는 필터 하나, 질문 세 개, 검증 절차 하나이며 순서도 그대로입니다. 그 순서가 노이즈를 읽지 않게 막아 주기 때문입니다.

AI 가시성 측정의 주제12분 읽기2026년 8월 30일 업데이트출처 11건, 모두 1차 자료
로드맵으로 돌아가기 다음: 엔진이 인용하는 것
이 페이지의 내용
이 글 공유하기
X에 공유 LinkedIn에 공유
짧은 답

접근 로그를 user-agent 토큰으로 필터링하고, 검색 쪽·학습 쪽·사용자 트리거형 세 부류를 따로 두십시오. 절대 한 줄로 합치지 마십시오. 그다음 이 순서로 세 가지를 읽습니다. 토큰별 오류율, 구매 의도가 가장 높은 페이지가 애초에 페치되는지, 그리고 사용자 트리거형 페처가 어디에 떨어지는지입니다. 오류부터 시작하는 이유는 그것이 대개 가장 큰 단일 손실이기 때문입니다. 한 인프라 사업자의 2024년 12월 로그 연구에서 GPTBot은 페치의 34.82%를 404에 썼고, Googlebot은 8.22%였습니다.6

핵심 요약
  • 둘이 아니라 세 부류입니다. 검색 쪽 토큰(OAI-SearchBot, Claude-SearchBot, PerplexityBot, Applebot, Googlebot), 학습 쪽 토큰(GPTBot, ClaudeBot, Google-Extended, Applebot-Extended), 그리고 사용자 트리거형 페처(ChatGPT-User, Claude-User, Perplexity-User, Google-Agent)입니다. 이 구분은 모두 벤더 자신이 문서화한 것입니다.
  • 낭비된 페치부터 고치십시오. 자기 사이트의 404를 페치 수로 정렬하면 죽은 내부 링크와 낡은 사이트맵 항목의 우선순위 목록이 나옵니다.
  • 0이 백분율보다 낫습니다. 의도가 높은 페이지에 30일 동안 성공한 검색 쪽 페치가 하나도 없다면 그것은 진짜 발견이고, 건수가 12에서 7로 줄어든 것은 노이즈입니다.
  • user-agent 헤더는 자기 신고이므로, 그 내용을 믿기 전에 벤더가 공개한 주소 대역과 대조해 확인하십시오.
필터

어떤 user-agent 토큰을 따로 세야 합니까?

둘이 아니라 세 부류로 나누어 세십시오. 답변이 그라운딩되는 색인을 만드는 검색 쪽 크롤러, 어떤 답변도 바꾸지 않는 학습 쪽 크롤러, 그리고 사람이 질문할 때 도착하는 사용자 트리거형 페처입니다.

주요 벤더는 모두 이 구분을 스스로 문서화하고 있으므로, 아래 표는 추론이 아니라 1차 자료입니다. 세 번째 열이야말로 대부분의 로그 보고서가 빠뜨리는 열입니다.

벤더검색 쪽 토큰학습 쪽 토큰사용자 트리거형 페처
OpenAIOAI-SearchBotGPTBotChatGPT-User1
AnthropicClaude-SearchBotClaudeBotClaude-User2
PerplexityPerplexityBot문서화된 것 없음Perplexity-User3
AppleApplebotApplebot-Extended문서화된 것 없음4
GoogleGooglebotGoogle-Extended5Google-Agent10

세 부류를 “AI 봇” 한 줄로 합치는 것이 로그 보고서를 쓸모없게 만드는 실수입니다. 셋은 서로 다른 질문에 답하기 때문입니다. 검색 쪽 페치가 줄었다면 그것은 이번 주에 고쳐야 할 리트리벌 문제입니다. 학습 쪽 페치가 줄어든 것은 어떤 답변에도 의미가 없습니다. 그리고 사용자 트리거형 페치가 늘어난 것은 애초에 유지보수 신호가 아닙니다. 지금 이 순간 누군가 여러분에 대해 묻고 있다는 뜻이며, 이 분야에서 구할 수 있는 것 중 수요 데이터에 가장 가까운 것입니다.

이 표는 블로그 글이 아니라 벤더 문서와 대조해 확인하십시오. 이 글도 예외가 아닙니다. 목록은 움직이기 때문입니다. OpenAI는 이제 광고로 제출된 페이지를 검증하는 네 번째 토큰 OAI-AdsBot을 문서화하고 있습니다.1 Google은 사용자 트리거형 페처를 독립된 부류로 문서화하며 여기에 Google-Agent가 포함되고, 기존 Google-NotebookLM은 2026년 8월까지만 지원되며 Google-GeminiNotebook이 그 자리를 대신한다고 적고 있습니다.10 어떤 토큰을 허용할지, 각각을 차단하면 무슨 일이 생기는지는 기술적 GEO 단계의 주제입니다. 이 페이지는 모두 허용되어 있다고 전제하고, 그 트래픽이 무엇을 알려 주는지를 묻습니다.

세 가지 질문

순서대로 볼 세 가지는 무엇입니까?

낭비된 페치를 먼저, 빠진 커버리지를 그다음, 수요를 마지막에 봅니다. 고칠 수 있는 순서가 그렇기 때문입니다. 각각은 같은 필터링된 로그에 대한 한 번의 집계이며, 이미 접근 로그를 조회하는 도구 외에는 아무것도 필요하지 않습니다.

첫째, 토큰별 상태 코드 구성입니다. 토큰과 상태 코드 부류로 묶고, 각각에 대해 2xx, 3xx, 4xx 비율을 따로 읽으십시오. AI 크롤러는 Googlebot보다 사이트 구조를 따라가는 능력이 눈에 띄게 떨어집니다. 한 인프라 사업자의 2024년 12월 로그 연구는 표본 기간 한 달 동안 GPTBot 5억 6,900만 건과 ClaudeBot 3억 7,000만 건의 페치를 다루었고, GPTBot이 페치의 34.82%를 404에, 14.36%를 리다이렉트에 썼으며 ClaudeBot이 34.16%를 404에 쓴 반면 Googlebot은 각각 8.22%와 1.49%였다고 보고했습니다.6 실제로 손댈 수 있는 부분은 그 백분율 아래에 있는 URL 목록입니다. 자기 사이트의 404를 페치 수로 정렬하면 죽은 내부 링크와 낡은 사이트맵 항목의 우선순위 목록이 나옵니다.

둘째, 구매 의도가 가장 높은 페이지의 커버리지입니다. 구매 질문에 답할 URL 열 개에서 스무 개, 즉 가격, 비교, 연동, 보안, 반론에 답하는 페이지를 적어 두고, 각각에 대해 지난 30일 안에 성공한 검색 쪽 페치가 있었는지 로그에서 확인하십시오. 아무도 리트리벌하지 않는 페이지는 인용될 수 없으므로, 여기서의 0은 답변 쪽의 어떤 비율보다 강한 발견입니다. 반복되는 실패 형태가 둘 있습니다. 하나는 한 벤더의 검색 토큰만 페치하고 나머지는 하지 않는 페이지로, 보통 robots.txt나 렌더링 차이를 가리킵니다. 다른 하나는 몇 달 전 한 번 페치된 뒤 다시 방문되지 않은 페이지로, 보통 그 페이지로 향하는 내부 링크가 약하다는 뜻입니다.

셋째, 사용자 트리거형 도착입니다. ChatGPT-User, Claude-User, Perplexity-User의 페치를 따로, 날짜별·경로별로 세십시오. 이들은 크롤 일정으로 움직이지 않습니다. 사람이 질문했고 어시스턴트가 보러 갔기 때문에 일어납니다. 그것을 받은 페이지에 대한 수요 신호로 읽고, 새로운 경로가 나타나는지 지켜보십시오. 비교 페이지가 사용자 트리거형 페치를 받기 시작했다면, 여러분에 대한 최종 후보 논의가 벌어지고 있다는 뜻입니다. Cloudflare의 네트워크 전체 2025년 결산 리뷰는 사용자 행동에 따른 크롤링이 그해에 15배 넘게 늘었다고 보고했습니다.7

규모 감각

어느 정도 양을 예상하고, 변화는 언제 진짜입니까?

AI 크롤러는 여러분 사이트에서 Googlebot의 몇 배가 아니라 대략 Googlebot과 비슷한 규모라고 예상하십시오. 그리고 여러분 자신의 건수는 대부분 추세를 그리기에는 너무 작다고 예상하십시오. Cloudflare의 2025년 결산 리뷰는 네트워크 전체에서 2025년 1월 1일부터 12월 2일까지를 대상으로 AI 봇을 연간 HTML 요청의 4.2%, Googlebot을 4.5%로 집계했습니다.7 같은 2024년 12월 로그 연구는 월간 물량을 Googlebot 45억 건, GPTBot 5억 6,900만 건, ClaudeBot 3억 7,000만 건, Applebot 3억 1,400만 건, PerplexityBot 2,440만 건으로 제시했습니다.6 이 비율을 여러분 자신의 Googlebot 트래픽에 맞춰 환산하면 대략적인 기대치가 나옵니다.

기준값보다 통계적인 논점이 더 중요하고, 로그 보고서가 틀리는 지점이 바로 거기입니다. 한 사이트의 페치 건수는 작은 수이고, 작은 건수는 백분율이 가려 버리는 방식으로 흔들립니다. 어떤 검색 쪽 토큰이 지난주에 12페이지, 이번 주에 7페이지를 페치했다면 그것은 42% 감소가 아닙니다. 이 정도로 작은 건수에서는 평범한 푸아송 산포만으로도 대체로 그 범위를 덮으며, 거기서 추세를 읽어내는 것은 오류입니다. 여기서 나오는 규칙은 이렇습니다. 건수를 비교하기 전에 최소 한 달로 집계하고, 한 기간의 페치 건수가 약 30 미만이면 수량이 아니라 있음과 없음의 관측으로 다루십시오. 통계적 검정력 글은 답변 쪽에서 같은 문제를 다룹니다.

리퍼럴

크롤 대 리퍼럴 비율은 무엇을 알려 줍니까?

어떤 플랫폼이 여러분 사이트에서 얼마나 가져가고 얼마나 돌려보내는지를 알려 주며, 그 두 쪽 모두 이미 같은 접근 로그 안에 있습니다. Cloudflare는 어떤 플랫폼의 크롤러 user-agent에서 온 HTML 요청 수를, Referer 헤더가 그 플랫폼을 가리키는 HTML 요청 수로 나누어 계산합니다.11 같은 값을 직접 계산할 수 있습니다. 한쪽은 크롤러 페치 수이고, 다른 한쪽은 chatgpt.com, perplexity.ai, claude.ai, gemini.google.com 리퍼러를 달고 도착한 세션입니다.

네트워크 전체로 보면 이 비율은 크게 기울어져 있고, 플랫폼 사이에 자릿수가 다릅니다. 2025년 내내 Cloudflare는 Anthropic을 5월 이후 25,000:1에서 100,000:1 구간으로, 그 이전에는 500,000:1까지 치솟은 정점도 있었다고 보았고, OpenAI는 기복이 커서 3월에 약 3,700:1로 정점을 찍었으며, Perplexity는 대체로 400:1 미만, Google은 3:1을 조금 넘는 수준으로 4월에 잠시 30:1까지 갔다가 돌아왔다고 보았습니다.7 자기 수치를 읽기 전에 주의할 점이 둘 있습니다. 리퍼럴 쪽은 과소 집계됩니다. 브라우저가 항상 Referer 헤더를 보내지는 않고 일부 클라이언트는 그것을 떼어 내기 때문에, 측정한 비율은 상한입니다. 그리고 비율이 높다는 것 자체는 판정이 아닙니다. 그것은 교환 비율을 말할 뿐 크롤링당한 값을 했는지를 말하지 않으며, 인용되는 것을 목표로 하는 사이트에서 클릭은 애초에 요구한 대가가 아니었습니다.

검증

그 봇이 정말 자신이 말한 그 봇인지 어떻게 압니까?

어디에서 온 주소인지 확인하기 전에는 알 수 없습니다. user-agent 문자열은 무엇이든 보낼 수 있는 자기 신고 헤더이기 때문입니다. 검증은 로그 한 줄을 근거로 바꾸는 작업입니다. 출발지 주소를 벤더가 공개한 크롤러 대역과 대조하거나, 역방향 DNS 조회를 한 뒤 그 결과로 정방향 조회를 하십시오. OpenAI는 토큰마다 별도의 주소 파일을 공개하고, Anthropic은 세 크롤러를 모두 담은 파일 하나를 공개하며, Apple과 Perplexity도 각각 공개하고 있으므로, 1234 이것을 한 번 필터 규칙으로 만들어 두는 편이 나중에 조사로 하는 것보다 쌉니다.

수고를 들일 이유는, 신고되지 않은 크롤링이 가정이 아니라 진행 중인 분쟁이기 때문입니다. Cloudflare는 2025년 8월 4일 분석을 공개해, 한 번도 색인된 적 없는 완전히 새로운 도메인을 모든 크롤링을 금지하는 robots.txt와 함께 등록했는데도 어떤 어시스턴트가 그 도메인들에 대해 상세한 내용을 돌려주었다고 밝혔습니다. 이 회사는 그 트래픽을 해당 벤더가 공개한 대역 밖 주소에서 온 범용 브라우저 user-agent로 지목했고, 그 벤더를 검증된 봇 목록에서 뺐습니다.8 그 벤더는 다음 날 반박을 내어 스텔스 크롤링을 부인하고, 요청을 제3자 클라우드 브라우저 서비스의 것으로 돌렸습니다. 이 이견은 공개적으로 해소되지 않았습니다. 어느 한 회사에 대한 확정된 결론이 아니라, 검증할 이유로 받아들이십시오.

한계

서버 로그가 알려 줄 수 없는 것은 무엇입니까?

로그는 어떤 페치가 인용으로 이어졌는지를 알려 주지 못하며, 바로 그 간극 때문에 답변 쪽 패널이 계속 필요합니다. 어떤 페이지는 매주 검색 쪽 크롤러에 페치되면서도 어디에도 인용되지 않을 수 있고, 어떤 페이지는 몇 달 전에 만들어진 색인에서 인용되면서 최근 페치가 전혀 없을 수도 있습니다. 두 데이터셋을 시간으로 맞춰 나란히 읽되, 인과 문장은 참으십시오. “크롤러가 다시 왔고 그다음 우리가 나타나기 시작했다”는 순서일 뿐 메커니즘이 아니기 때문입니다.

짚어 둘 만한 사각지대가 세 가지 더 있습니다. 에이전트형 브라우저는 여러분의 로그에서 평범한 브라우저 세션과 구별되지 않습니다. 2025년 10월 30일에 공개된 Tow Center for Digital Journalism의 분석은, 같은 벤더의 표준 인터페이스로는 가져올 수 없는 구독자 전용 자료를 이들이 가져왔음을 확인했습니다. 요청 안에 자동화되었다고 표시하는 것이 아무것도 없었기 때문입니다.9 CDN이나 엣지 캐시는 페치를 오리진 로그에서 통째로 가려 버리므로, 가능하다면 엣지에서 읽고 오리진만 본 수치는 과소 집계된다고 예상하십시오. 그리고 어떤 토큰이 더 이상 나타나지 않는 것은 모호합니다. 차단되었을 수도, 이름이 바뀌었을 수도, 그저 새로 가져갈 것이 없을 수도 있습니다.

로그가 실제로 주는 것은 이 분야에서 유일한 1차 근거입니다. 답변 쪽의 모든 것은 남의 시스템에서 표본으로 뽑아 온 것이며, 그래서 접근 로그는 조사를 시작하기에 맞는 자리이고 끝내기에는 틀린 자리입니다.

이 글의 정직한 한계

여기 나온 정량적 기준점들은 보이는 것보다 오래되었고 범위도 좁습니다. 34.82%와 34.16%라는 오류율은 한 인프라 사업자가 자사 네트워크를 대상으로 한 2024년 12월 로그 연구에서 나왔고, 그 뒤 스무 달 동안 재현 연구가 공개되지 않았습니다. 그 사이에 크롤러가 바뀐 것은 분명하며, 여러분 사이트를 좌우하는 수치는 여러분 자신의 오류율입니다. Cloudflare Radar의 점유율과 크롤 대 리퍼럴 비율은 네트워크 전체 기준이고, 문서 중심 사이트와 뉴스 사이트는 구성이 상당히 다릅니다. 이 둘은 무엇이 그럴듯한지에 대한 규모 감각으로 읽고, 측정은 여러분 자신의 로그로 하십시오. 여기 있는 어떤 것도 인용 결과와 대조해 검증되지 않았습니다. 사이트 단위 크롤 행동과 사이트 단위 인용률을 연결한 연구가 공개된 적이 없기 때문입니다.

제품이 쓸모 있는 자리와 그렇지 않은 자리

이 모든 것은 무료이고 이미 여러분의 것입니다. 접근 로그를 user-agent 토큰으로 필터링하고, 상태 코드 부류로 묶고, 구매 의도가 가장 높은 URL 스무 개에 성공한 검색 쪽 페치가 있는지 확인하고, 사용자 트리거형 페처를 날짜별로 세고, 주소를 벤더가 공개한 대역과 대조하십시오. Bavior는 같은 질문의 반대편에서 일합니다. 고정된 프롬프트 패널을 다섯 개 엔진에 정해진 일정으로 돌리고 각 답변이 어떤 출처를 인용했는지 기록하므로, 크롤 쪽 수정이 누가 등장하는지를 바꾸었는지 알려 줍니다. 하지 않는 일은 여러분의 서버 로그를 읽는 것, 크롤러 주소를 검증하는 것, 404를 고치는 것, 그리고 특정 페치가 특정 인용이 되었는지 알려 주는 것입니다. 마지막 것은 누구도 할 수 없습니다. 두 데이터셋에 공통 식별자가 없기 때문입니다. 무료 AI 가시성 체커와 무료 GEO 진단은 유료 플랜 없이 이용할 수 있습니다. 유료 플랜은 월간 결제 시 월 $99부터, 연간 결제 시 월 $79.17입니다(2026년 8월 29일 기준).

출처, 모두 2026년 8월 30일 확인
  1. OpenAI, 크롤러 및 봇 문서(GPTBot, OAI-SearchBot, OAI-AdsBot, ChatGPT-User, 토큰별 주소 파일. 1차 자료): developers.openai.com/api/docs/bots
  2. Anthropic, “Does Anthropic crawl data from the web?”(ClaudeBot, Claude-SearchBot, Claude-User, 공개 주소 대역. 1차 자료): support.claude.com/en/articles/8896518
  3. Perplexity, 봇 문서(PerplexityBot, Perplexity-User, 공개 주소 대역. Perplexity-User는 “일반적으로 robots.txt 규칙을 무시한다”고 기재. 1차 자료): docs.perplexity.ai/guides/bots
  4. Apple, “About Applebot”(Applebot, Applebot-Extended, 공개 CIDR 파일, 브라우저 렌더링. 1차 자료): support.apple.com/en-us/119829
  5. Google Search Central, “AI features and your website”(Googlebot, Google-Extended, 색인 등록과 스니펫 노출 자격. 1차 자료): developers.google.com/search/docs/appearance/ai-features
  6. Zecchini, Moore, Ubl, Siddle, “The rise of the AI crawler”, Vercel, 2024년 12월 17일. 1차 로그 데이터, 표본 기간 한 달 동안 GPTBot 5억 6,900만 건과 ClaudeBot 3억 7,000만 건의 페치. 토큰별 404와 리다이렉트 비율: vercel.com/blog/the-rise-of-the-ai-crawler
  7. Cloudflare Radar 2025 Year in Review, 데이터 기간 2025년 1월 1일부터 12월 2일. AI 봇이 HTML 요청의 4.2%, Googlebot이 4.5%, 사용자 행동 크롤링 15배 넘게 증가, 플랫폼별 크롤 대 리퍼럴 비율: blog.cloudflare.com/radar-2025-year-in-review
  8. Cloudflare, “Perplexity is using stealth, undeclared crawlers to evade website no-crawl directives”, 2025년 8월 4일(인프라 측 1차 자료. 해당 벤더는 2025년 8월 5일 반박을 공개하며 스텔스 크롤링을 부인): blog.cloudflare.com
  9. Tow Center for Digital Journalism, “How AI browsers sneak past blockers and paywalls”, 2025년 10월 30일. 에이전트형 브라우저는 로그에서 평범한 브라우저 세션과 구별되지 않음: cjr.org
  10. Google Search Central, “Google user-triggered fetchers”(Google-Agent, Google-GeminiNotebook, Google-NotebookLM은 2026년 8월까지 지원. 이 페처들은 일반적으로 robots.txt를 무시함. 1차 자료): developers.google.com/crawling/docs/crawlers-fetchers/google-user-triggered-fetchers
  11. Cloudflare, “The crawl before the fall… of referrals”, 2025년 7월 1일. 크롤 대 리퍼럴 비율을 어떤 플랫폼의 크롤러 user-agent에서 온 HTML 요청 수를 Referer 헤더가 그 플랫폼을 가리키는 HTML 요청 수로 나눈 값으로 정의: blog.cloudflare.com/ai-search-crawl-refer-ratio-on-radar

이어서 읽기

GEO 배우기 GEO 로드맵 GEO 배우기 이전 글: 측정할 수 없는 것 GEO 배우기 다음 글: 엔진이 인용하는 것
FAQ

자주 묻는 질문입니다.

서버 로그에서 어떤 AI 크롤러 토큰을 찾아야 합니까?

둘이 아니라 세 부류로 나누십시오. 검색 쪽 토큰은 답변이 그라운딩되는 색인을 만듭니다. OAI-SearchBot, Claude-SearchBot, PerplexityBot, Applebot, Googlebot입니다. 인용에 중요한 것은 이들입니다. 학습 쪽 토큰, 즉 GPTBot, ClaudeBot, Applebot-Extended는 어떤 답변에도 영향을 주지 않습니다. Google-Extended는 더 이상 순수한 학습용 토큰이 아닙니다. Google은 이를 Gemini Apps와 Vertex AI에서의 그라운딩을 제어하는 것으로 문서화하고 있으므로, 이를 허용하지 않으면 그 서피스에서는 빠지게 됩니다. 다만 Google 검색이나 AI Overviews에서 빠지는 것은 아닙니다. 사용자 트리거형 페처, 즉 ChatGPT-User, Claude-User, Perplexity-User, Google-Agent는 방금 누군가 질문했기 때문에 도착하며, 그래서 유지보수 신호가 아니라 수요 신호입니다. 이 구분은 모두 벤더 자신이 문서화한 것이므로, 추론이 아니라 1차 자료에 기반한 분류입니다.

AI 크롤러 페치가 지난주 12에서 7로 줄었습니다. 걱정해야 합니까?

아닙니다. 그만큼 작은 건수는 여러분이 보고 있는 변화보다 더 큰 산포를 품고 있기 때문입니다. 주당 열두어 건의 페치에서는 평범한 무작위 변동만으로도 대체로 그 범위를 덮으므로, 거기서 42% 감소를 읽어내는 것은 프롬프트 실행 몇 회에 전주 대비 화살표를 그리는 것과 같은 오류입니다. 건수를 비교하기 전에 한 달로 집계하고, 한 기간의 페치 건수가 약 30 미만이면 수량이 아니라 있음과 없음의 관측으로 다루십시오. 적은 물량에서 움직일 가치가 있는 것은 0입니다. 의도가 높은 페이지에 30일 동안 성공한 검색 쪽 페치가 하나도 없다면, 사이트 규모와 상관없이 진짜 발견입니다.

로그의 user-agent 문자열을 믿을 수 있습니까?

그것만으로는 안 됩니다. user-agent는 무엇이든 보낼 수 있는 자기 신고 헤더이기 때문입니다. 출발지 주소로 검증하십시오. 벤더가 공개한 크롤러 주소 대역과 대조하거나, 역방향 DNS 조회를 한 뒤 그 결과로 정방향 조회를 하십시오. OpenAI, Anthropic, Perplexity, Apple은 모두 봇 문서에 주소 파일을 공개하고 있으며, 이 확인을 한 번 필터 규칙에 넣어 두는 편이 나중에 조사로 돌리는 것보다 훨씬 쌉니다. 이것은 가정이 아닙니다. Cloudflare는 2025년 8월에 어떤 벤더의 공개 대역 밖 주소에서 온 신고되지 않은 크롤링을 지적하는 분석을 공개했고, 그 벤더는 다음 날 이를 부인했으며, 이 이견은 공개적으로 해소되지 않았습니다.

서버 로그가 페치가 인용으로 이어졌는지 알려 줍니까?

아닙니다. 다른 어떤 것도 알려 주지 못합니다. 두 데이터셋에 공통 식별자가 없기 때문입니다. 어떤 페이지는 매주 검색 쪽 크롤러에 페치되면서도 어디에도 인용되지 않을 수 있고, 어떤 페이지는 몇 달 전에 만들어진 색인에서 인용되면서 최근 페치가 전혀 없을 수도 있습니다. 로그 쪽과 답변 쪽을 시간으로 맞춰 나란히 읽되, 인과 문장 직전에서 멈추십시오. “크롤러가 다시 왔고 그다음 우리가 나타나기 시작했다”는 순서를 말하는 것이지 메커니즘이 아닙니다. 로그는 무엇이 여러분의 서버에 도달했는지에 대해 가진 가장 강한 1차 근거이며, 그래서 조사를 시작하기에 맞는 자리이고 끝내기에는 틀린 자리입니다.

AI 플랫폼의 크롤 대 리퍼럴 비율은 어느 정도가 정상입니까?

정상이라는 것은 없고, 플랫폼 사이의 격차 자체가 발견입니다. 2025년 내내 Cloudflare는 Anthropic의 네트워크 전체 비율을 5월 이후 25,000:1에서 100,000:1 구간으로, OpenAI는 3월에 약 3,700:1로 정점, Perplexity는 대체로 400:1 미만, Google은 3:1을 조금 넘는 수준으로 보았습니다. 자기 값은 플랫폼별 크롤러 페치 수를 그 플랫폼의 리퍼러를 달고 도착한 세션 수로 나누어 계산한 다음, 판정이 아니라 교환 비율로 읽으십시오. 여러분의 리퍼럴 쪽은 과소 집계됩니다. 브라우저가 항상 Referer 헤더를 보내지는 않기 때문이며, 나온 숫자는 상한으로 다루십시오.

Bavior 편집팀

Reddit 마케팅과 AI 검색 가시성에 관한 Bavior의 콘텐츠를 조사하고 관리하는 팀입니다. 본문의 모든 수치에는 출처와 확인 날짜를 명시했으며, 제휴 링크는 사용하지 않습니다.

수치에 오류를 발견하셨나요? 알려주시면 다시 확인하겠습니다: support@bavior.com

로그는 여러분이 가진 유일한 1차 근거입니다.
올바른 순서로 읽으십시오.

무료 체험 시작