AI 크롤러는 JavaScript를 실행하나요?

여기에는 둘이 아니라 셋이 있고, 온라인 논쟁의 대부분은 이 셋을 하나로 뭉개는 데서 나옵니다. 두 엔진은 자기 말로 렌더링을 문서화합니다. Google은 “차단되지 않은 한 JavaScript 안의 콘텐츠를 처리할 수 있다”고 하면서, JavaScript 프레임워크가 이 작업을 “대체로 더 복잡하게” 만든다는 단서를 붙입니다³. 그리고 “Applebot은 브라우저 안에서 여러분 웹사이트의 콘텐츠를 렌더링할 수 있다”고 하며, Apple은 JavaScript와 CSS가 robots.txt에서 차단되어 있으면 그렇게 하지 못할 수 있다고 경고합니다.⁵ Gemini는 Googlebot의 렌더러를 물려받고¹, 에이전트형 브라우저가 렌더링하는 이유는 그것이 Chromium이기 때문입니다. Tow Center 연구진은 2025년 10월, 그중 하나가 클라이언트 측 오버레이 뒤에 있던 9,000단어짜리 구독자 전용 기사를 가져온 반면, 같은 회사들의 일반 채팅 인터페이스는 그 기사에 접근할 수 없다고 답했다고 밝혔습니다.⁹

세 번째 그룹이 바로 모두가 논쟁하는 대상이고, 아무도 아무 말을 하지 않은 대상이기도 합니다. OpenAI, Anthropic, Perplexity가 공개한 봇 문서를 읽어 보면 render, rendering, JavaScript라는 단어가 한 번도 나오지 않습니다(2026년 8월 30일 확인).⁶⁷⁸ 이 침묵 자체가 결론이고, 그래서 로그 연구 한 건이 이렇게 큰 무게를 지게 되었습니다.

비콘으로 감지했습니다. 방법은 그 AI 크롤러 글이 아니라, 그 글이 상세 내용으로 연결한 2024년 7월 글에 있습니다. 거기서 같은 팀은 해당 자산들에 맞춤 엣지 미들웨어를 두어 봇 요청을 식별하고, 그들에게 제공되는 HTML에 가벼운 JavaScript 라이브러리를 주입했다고 설명합니다. 이 라이브러리는 페이지 렌더링이 끝날 때 발화해 요청 식별자와 타임스탬프를 별도 서버로 보고하고, 그 보고를 원본 접근 로그와 맞춰 보면 어떤 요청이 렌더링되었는지 알 수 있습니다.²

좋은 설계이고, 한쪽으로만 열린 설계입니다. 발화한 비콘은 실행을 증명합니다. 한 번도 발화하지 않은 비콘이 증명하는 것은 보고가 도착하지 않았다는 사실뿐이고, 렌더러가 없는 것 말고도 그런 결과를 만드는 것들이 있습니다. 외부 네트워크가 없는 샌드박스에서 스크립트를 실행하는 크롤러, 하위 리소스 요청을 버리는 크롤러, 비콘 가져오기가 차단되거나 시간 초과되는 크롤러입니다. 어느 것도 그냥 HTML만 읽는 클라이언트와 구별되지 않습니다. “현재 주요 AI 크롤러는 어느 것도 JavaScript를 렌더링하지 않는다”는 널 결과에 대한 합당한 해석입니다. 다만 유일한 해석은 아닙니다.

앞선 글은 자기 범위를 분명히 밝힙니다. 대상은 Googlebot이었고, 2024년 4월 1일부터 30일까지 서버와 비콘이 짝지어진 렌더링 페이지를 37,000건 넘게 확보했으며, 팀은 AI 제공사에 대해서는 아직 데이터를 모으는 중이라고 적었습니다.² 이 계측은 실제로 렌더링하는 크롤러를 상대로 대규모로 검증되었습니다. 렌더링하지 않는 것으로 보이는 크롤러에 대해 그것이 만들어 낸 것은 부재이고, 부재에는 보고할 표본 크기가 없습니다.

세 가지이고, 그중 어느 것도 재현은 아닙니다. 첫째, 문서가 움직였습니다. Anthropic은 이제 학습용 ClaudeBot, 사용자가 시작한 가져오기용 Claude-User, 검색 품질용 Claude-SearchBot을 설명하며, 그 페이지는 2026년 4월 7일에 마지막으로 업데이트되었습니다.⁷ Google의 생성형 AI 안내는 2026년 7월 10일에 마지막으로 업데이트되었고, JavaScript 안의 콘텐츠 처리에 관한 같은 문장이 그대로 남아 있습니다.³ 침묵하는 쪽에서 늘어난 것들은 모두 침묵을 지켰습니다. 그러니 침묵은 메워진 것이 아니라 넓어졌습니다.

둘째, 완전히 새로운 부류의 클라이언트가 등장했습니다. 에이전트형 브라우저는 연구가 진행될 때는 대중 시장 제품이 아니었지만, 지금은 그 표본에 있던 두 회사가 내놓고 있습니다. 이들은 무엇이든 렌더링하고, 접근 로그에서는 Chrome과 구별되지 않으며, 크롤러 단계의 차단이 지키려던 텍스트를 읽습니다.⁹ AI는 여러분의 JavaScript를 볼 수 없다는 조언은, 점점 커지는 AI 트래픽의 일부에 대해서는 이미 틀렸습니다.

셋째, 아무것도 재현되지 않았습니다. AI 크롤러 렌더링에 관한 두 번째 로그 연구는 이 커리큘럼이 찾은 한 공개된 적이 없고, 어떤 벤더도 이 결과를 확인하거나 부인하지 않았으며, 앞선 글이 약속한 AI 제공사에 대한 후속도 나오지 않았습니다.² 여기서 20개월은 긴 시간입니다. 옳은 대응은 결론을 뒤집는 것도, 결론을 확정된 사실처럼 계속 인용하는 것도 아닙니다.