실제 AI 크롤 트래픽은 어떤 모습입니까?

Cloudflare의 2025년 연간 리뷰는 2025년 1월 1일부터 12월 2일까지 네트워크 전체를 대상으로 합니다. 여기서 검색 엔진 크롤러는 그해 검증된 봇 트래픽의 40%, AI 크롤러는 그 절반인 20%로 집계되었습니다.¹ 이 범주들 안에서 분포는 롱테일이 아니라 극단적으로 집중되어 있습니다. Googlebot 하나가 검증된 봇 트래픽의 28%를 넘겼고, OpenAI의 GPTBot이 약 7.5%, Microsoft의 Bingbot이 6%입니다.¹ 크롤러 군단이라고 묘사되는 것의 대부분은 user-agent 네 개가 떠받치고 있습니다.

실제 콘텐츠를 실어 나르는 트래픽인 HTML로만 범위를 좁히면 그림은 한 번 더 조여집니다. 2025년 내내 Googlebot을 제외한 AI 봇은 그 네트워크 HTML 요청의 평균 4.2%였고, Googlebot 혼자서 4.5%를 차지했습니다. 12월 2일 기준으로 사람이 HTML 요청의 47%를, AI가 아닌 봇이 44%를 만들었습니다.¹ HTML 요청 열 건 가운데 아홉 건이 넘게는 AI 크롤러와 아무 상관이 없었습니다. 어느 호스팅 플랫폼의 2024년 말 한 달치 자체 로그도 다른 경로로 같은 형태에 도달했습니다. 가장 큰 AI 크롤러 둘을 합쳐 같은 기간 Googlebot 페치 물량의 약 20%였습니다.³

여기의 모든 숫자에는 단서 하나가 따라붙습니다. Googlebot과 Bingbot은 검색 색인을 위한 크롤과 AI 학습을 위한 크롤을 동시에 수행하므로, 이들을 검색 통에 넣을지 AI 통에 넣을지는 패킷에 관한 사실이 아니라 분류 표기의 결정입니다. Cloudflare는 Googlebot을 양쪽에 모두 넣으며, 그래서 이 회사의 AI 크롤러 개요 맨 앞에는 대부분의 사람이 AI 크롤러라고 부르지 않을 봇이 놓입니다.¹

전부는 아니며, 벤더 사이의 차이가 충분히 커서 그중 하나를 차단했을 때 무엇이 절약되는지가 달라집니다. Vercel과 MERJ는 nextjs.org에서 AI 크롤러가 페치한 콘텐츠 유형을 측정했고, ChatGPT의 페치는 57.70%가 HTML, Claude는 35.17%가 이미지였습니다. 둘 다 실행하지도 않는 JavaScript 파일에 각각 11.50%와 23.84%를 더 썼습니다.³ Gemini와 검색을 아우르는 Googlebot의 페치는 또 다르게 퍼져 있었습니다. HTML 31.00%, JSON 29.34%, 일반 텍스트 20.77%, JavaScript 15.25%입니다.³

용량 측면에서 두 가지가 따라 나옵니다. AI 크롤러가 대역폭을 먹고 있다는 불만은 벤더마다 다른 문장입니다. 한쪽은 주로 여러분의 오리진에서 문서를 끌어가고 다른 한쪽은 주로 이미지를 끌어가며, 이 둘은 청구서의 서로 다른 줄에 찍히기 때문입니다. 그리고 자기가 실행하지도 않는 스크립트 번들을 페치하는 크롤러는 읽을 수 없는 바이트를 사고 있습니다. 그 부분은 콘텐츠 문제가 아니라 애셋과 캐싱 문제입니다. 그들이 애초에 JavaScript를 실행하는지는 JavaScript는 실행되나라는 별개의 질문입니다.

표본은 분명히 말해 두어야 합니다. 콘텐츠 유형 구성은 딱 옮겨 다니기에 취약한 종류의 통계이기 때문입니다. 그 백분율은 2024년 말 한 달, 하나의 프레임워크 위에 있는 문서 중심의 한 사이트에서 나온 것이고, 그 뒤 20개월 동안 재현 결과는 발표되지 않았습니다. 이미지가 많은 미디어 사이트나 상품 목록이 큰 상점은 그런 분포를 보지 못합니다. 남의 분포를 기준으로 계획하기 전에 여러분 자신의 엣지 로그에서 같은 분해를 뽑아 보십시오.

차트가 시사하는 것보다 드뭅니다. 베이스라인 자체가 움직이기 때문입니다. 수백만 사이트로 이루어진 네트워크 전체에서 HTML 요청 중 AI의 합계 점유율은 같은 해 안에 4월 초 2.4%에서 6월 말 6.4%까지 움직였습니다. 두 배 반이 넘는 진폭이고, 어떤 사이트도 아무것도 하지 않았습니다.¹ 그러므로 여러분의 크롤 계열이 한 분기에 두 배가 된 것은 시장이 발밑에서 움직였다는 설명과 어긋나지 않습니다. 그것을 여러분이 배포한 무언가에 귀속시키려면 계열만이 아니라 비교가 필요합니다. 그 리뷰가 근거로 삼은 Radar 실시간 계열은 공개되어 있으므로 비교에는 비용이 들지 않습니다.²

흔하지만 피하기 쉬운 읽기 오류가 둘 더 있습니다. AI 봇을 한 줄로 집계한 선은 위에서 본 갈라짐을 감춥니다. 이름이 붙은 크롤러 셋은 같은 해를 각각 약 3.5배, 1.1배, 그리고 제자리로 마쳤습니다. 그리고 이중 목적의 Googlebot을 포함한 집계와 제외한 집계는 서로 다른 계열이며, 그 차이는 대략 Googlebot 자신의 크기만큼입니다. 서로 어긋나는 두 차트는 단지 다른 모집단을 세고 있을 뿐일 수 있습니다.¹

여러분의 계수에서 나타난 움직임이 그 물량에서 진짜인지는 별도의 답을 가진 별도의 통계 문제이고, 크롤러 로그 읽기 글에서 풀어 두었습니다. 여기서의 질문은 그보다 앞에 있습니다. 어떤 변화는 여러분의 사이트에서 완전히 진짜이면서도 여러분의 사이트에 관한 것이 아닐 수 있습니다.