JavaScript 웹사이트와 AI 크롤러: 내 페이지가 보일까?

브라우저에서는 멀쩡해 보이는 사이트가 AI 크롤러에게는 비어 보일 수 있는 이유, JavaScript 렌더링에 대해 Google이 말하는 것, 봇이 받는 내용을 테스트하는 법, 그리고 소규모 비즈니스 사이트에 효과적인 해결책.

많은 최신 웹사이트는 브라우저에 거의 비어 있는 HTML 파일과, 도착하면 페이지를 만들어 내는 JavaScript 묶음을 보냅니다. 사람은 전혀 눈치채지 못합니다. 크롤러는 다를 수 있습니다. 봇이 HTML만 읽고 스크립트를 실행하지 않는다면, 정성껏 쓴 서비스 페이지는 그 봇에게 로고만 있는 빈 종이입니다.

Google의 처리 방식

Google Search Central의 JavaScript SEO 기본 가이드에 따르면, Googlebot은 페이지를 크롤링하고, 최신 버전의 Chromium으로 렌더링하도록 대기열에 넣은 뒤, 렌더링된 결과를 색인합니다. 그래서 Google은 JavaScript 콘텐츠를 볼 수 있지만, 렌더링은 첫 크롤링보다 늦게 일어날 수 있습니다. Google은 사용자와 모든 크롤러에게 더 빠르므로 여전히 서버 사이드 렌더링이나 사전 렌더링을 권합니다. 링크가 따라가지려면 href가 있는 실제 앵커 태그여야 한다는 경고도 있습니다.

AI 크롤러의 처리 방식

AI 회사들은 렌더링에 대해 말을 아낍니다. OpenAI는 OAI-SearchBot과 GPTBot을, Perplexity는 PerplexityBot을 문서화했지만, 어느 문서도 크롤러가 JavaScript를 실행한다고 약속하지 않습니다. Vercel이 2024년 12월 자사 네트워크의 크롤러 트래픽을 분석한 결과, 측정한 주요 AI 크롤러 중 JavaScript를 렌더링한 것은 없었으며 OpenAI와 Anthropic의 크롤러, PerplexityBot을 예로 들었습니다. 예외는 두 가지였습니다. Googlebot 인프라를 쓰는 Gemini와 Applebot입니다. 크롤러는 바뀌므로 이는 약속이 아니라 한 시점의 기록으로 보세요.

안전한 가정은 이렇습니다. 서버가 보내는 HTML에 글자가 없다면, ChatGPT 검색, Perplexity 같은 도구는 그것을 보지 못할 수 있습니다.

크롤러가 받는 내용 테스트하기

페이지를 열고 페이지 소스 보기를 선택하세요(스크립트 실행 후 화면을 보여 주는 검사 도구가 아닙니다). 메인 제목의 문장을 검색하세요. 있다면 텍스트가 원본 HTML에 있는 것입니다.
Google Search Console에서 URL 검사 후 크롤링된 페이지 보기를 눌러 Google이 저장한 HTML과 렌더링 스크린샷을 보세요.
터미널에서 단순한 요청으로 페이지를 가져와 돌아온 내용을 읽으세요. 루트 div와 스크립트 태그만 보인다면, 렌더링하지 않는 크롤러는 아무것도 받지 못합니다.
브라우저 설정에서 JavaScript를 끄고 새로고침하세요. 남는 것이 렌더링하지 않는 봇이 읽는 내용과 대략 같습니다.

가장 확실한 것부터의 해결책

서버 사이드 렌더링 또는 정적 생성. 서버가 완성된 HTML을 보냅니다. Next.js, Nuxt, Astro 같은 프레임워크가 이를 지원하며, 많은 사이트 빌더는 이미 정적 페이지를 만듭니다.
사전 렌더링. 빌드 단계나 서비스가 각 페이지의 완전한 HTML 스냅숏을 저장합니다. 봇과 사람이 같은 콘텐츠를 받는 한 Google은 이를 허용합니다.
핵심 사실을 초기 HTML에 넣기. 다시 만들 수 없다면 적어도 상호, 서비스, 지역, 영업시간, 연락처는 서버에서 렌더링하세요.

봇과 사람에게 다른 페이지를 주는 동적 렌더링은 피하세요. Google은 동적 렌더링을 장기 해결책이 아닌 임시방편으로 설명하며, 봇과 방문자 간에 내용이 다르면 클로킹이 됩니다.

소규모 비즈니스 사이트의 흔한 함정

이미지나 슬라이더 안에 넣은 텍스트. 어떤 크롤러도 텍스트로 읽지 않습니다.
링크 대신 클릭 핸들러가 달린 버튼으로 만든 메뉴. 내부 페이지가 발견되지 않습니다.
페이지 로드 후 외부 위젯에서 불러오는 리뷰, 가격, FAQ.
홈페이지는 서버에서 렌더링하지만 내부 페이지는 그렇지 않은 경우.

리디자인할 때마다 확인하세요

렌더링 문제는 새 테마나 플러그인과 함께 오는 경우가 많습니다. 큰 변경 후에는 홈페이지와 내부 페이지 두 곳에서 페이지 소스 확인을 반복하세요.

We.Inc 사이트는 내부 페이지를 Google이 읽을 수 있는 HTML로 제공하며, SEO God Mode는 그 위에 매주 내 서비스로 만든 읽을 수 있는 새 페이지를 더합니다.

자주 묻는 질문

Googlebot은 JavaScript를 실행하나요?

네. Google은 색인 전에 최신 Chromium으로 페이지를 렌더링하지만, 렌더링은 첫 크롤링보다 늦을 수 있습니다. Google은 가능하면 서버 사이드 렌더링이나 사전 렌더링을 여전히 권합니다.

ChatGPT와 Perplexity 크롤러는 JavaScript를 실행하나요?

문서에는 실행한다는 말이 없고, Vercel의 2024년 크롤러 분석에서도 JavaScript를 렌더링하지 않았습니다. 중요한 텍스트는 서버가 보내는 HTML에 넣으세요.

크롤러가 보는 것을 어떻게 확인하나요?

브라우저의 페이지 소스 보기, 또는 Google Search Console의 URL 검사와 크롤링된 페이지 보기를 쓰세요. 거기서 글자가 빠져 있다면 렌더링하지 않는 봇도 놓칩니다.