AI 봇을 위한 robots.txt: 무엇을 허용하고 차단할까

소규모 비즈니스 사이트에 오는 AI 크롤러들, 소유 회사가 밝힌 각각의 용도, 그리고 원한다면 학습에서는 빠지면서 AI 검색 답변에는 남는 robots.txt 규칙에 관한 실전 가이드.

AI 회사들은 이제 여러 종류의 크롤러를 보내며, 각각 하는 일이 다릅니다. 어떤 것은 학습 데이터를 모읍니다. 어떤 것은 답변이 링크로 돌아오는 검색 색인을 만듭니다. 어떤 것은 사용자가 요청해서 페이지 하나를 가져옵니다. 한 줄로 모두 차단하면 안전하게 느껴지지만, 실제 고객을 보내는 AI 검색 답변에서 비즈니스가 조용히 빠질 수 있습니다.

robots.txt의 작동 방식

robots.txt는 도메인 루트에 있는 일반 파일입니다. 각 그룹은 크롤러 이름을 적은 User-agent 줄로 시작하고, 그 뒤에 Allow나 Disallow 규칙이 옵니다. 형식은 RFC 9309로 표준화되어 있습니다. 이는 잠금이 아니라 요청입니다. 신뢰할 만한 크롤러는 따르지만 비공개 콘텐츠를 보호하지는 않으며, Google 문서는 크롤링을 막는 것만으로는 페이지가 색인에서 제거되지 않는다고 말합니다.

주요 AI 크롤러와 소유 회사가 밝힌 용도

OAI-SearchBot(OpenAI): ChatGPT 검색 결과에 사이트를 보여 주는 데 쓰입니다. OpenAI 크롤러 문서에 따르면 이를 차단한 사이트는 ChatGPT 검색 답변에 나오지 않지만, 단순한 탐색용 링크로는 나타날 수 있습니다.
GPTBot(OpenAI): OpenAI 모델 학습에 쓰일 수 있는 콘텐츠를 모읍니다. 이를 차단하는 것이 OpenAI가 문서화한 학습 제외 방법이며, OAI-SearchBot과는 별개입니다.
ChatGPT-User(OpenAI): 사람의 요청에 필요할 때 페이지를 가져옵니다. OpenAI는 이런 사용자 주도 방문에는 robots.txt 규칙이 적용되지 않을 수 있다고 밝힙니다.
Google-Extended(Google): 별도 크롤러가 아니라 제품 토큰입니다. 이를 Disallow하면 Google이 내 콘텐츠를 향후 Gemini 모델 학습이나 일부 다른 AI 시스템의 근거로 쓰지 않습니다. Google Search Central은 이것이 Google 검색 포함이나 순위에 영향을 주지 않으며, AI 개요는 Googlebot과 일반 스니펫 설정의 적용을 받는다고 말합니다.
PerplexityBot(Perplexity): Perplexity 답변을 위해 페이지를 색인하며, Perplexity 문서에 따르면 모델 학습에는 쓰이지 않습니다. Perplexity-User는 사용자를 대신해 가져오며 대체로 robots.txt를 무시합니다.
Bingbot(Microsoft): Microsoft Copilot의 근거가 되는 Bing에 정보를 공급합니다. 차단하면 둘 다에서 빠집니다.
ClaudeBot과 Claude-SearchBot(Anthropic): Anthropic은 학습용과 검색용 에이전트를 따로 문서화했으며, robots.txt를 따른다고 말합니다.
Applebot과 Applebot-Extended(Apple): Applebot은 Spotlight, Siri, Safari의 검색 기능을 움직이고, Applebot-Extended는 검색에 영향 없이 Apple이 기반 모델 학습에 콘텐츠를 쓰지 않도록 제외할 수 있게 합니다.

지역 비즈니스를 위한 합리적인 설정

대부분의 소상공인은 답변에서 발견되고 언급되기를 원합니다. 흔하고 균형 잡힌 설정은 검색 크롤러를 허용하고 학습은 따로 결정하는 것입니다. 예를 들어 ChatGPT 검색과 Perplexity에는 남되 OpenAI와 Google 학습에서는 빠지려면:

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Allow: /

Sitemap: https://www.example.com/sitemap.xml

학습 제외 여부는 비즈니스 선택입니다. 학습 데이터에 들어가면 모델이 내 이름에 더 익숙해질 수 있고, 제외하면 향후 모델 제작에서 내 텍스트가 빠집니다. 어느 쪽도 Google 검색 순위에는 영향을 주지 않습니다.

봇이 차단되는 다른 곳

robots.txt뿐 아니라 CDN과 보안 설정도 확인하세요. 일부 호스팅 방화벽과 봇 관리 기능은 기본으로 AI 크롤러를 차단하며, 이는 열려 있는 robots.txt보다 우선합니다. 그런 기능을 쓴다면 AI 크롤러 설정을 찾아 원하는 검색 에이전트가 허용되어 있는지 확인하세요.

파일 테스트하기

브라우저에서 yoursite.com/robots.txt를 열어 로드되는지 확인하세요. Google Search Console에는 Google이 가져온 버전과 오류를 보여 주는 robots.txt 보고서가 있습니다. Bing Webmaster Tools는 robots.txt 테스터를 제공합니다. 호스팅을 바꾸거나 보안 플러그인을 설치한 뒤 다시 확인하세요.

알맞은 봇이 도달할 수 있게 되면, 읽을 가치가 있는 페이지가 필요합니다. 그 지점이 SEO God Mode가 We.Inc 사이트에서 하는 역할로, 내 서비스에서 매주 주제를 제안하고 내가 승인하는 글 초안을 씁니다.

자주 묻는 질문

GPTBot을 차단하면 ChatGPT 검색에서 사라지나요?

OpenAI에 따르면 아닙니다. GPTBot은 학습용 크롤러이고, ChatGPT 검색은 OAI-SearchBot을 씁니다. 하나는 허용하고 다른 하나는 차단해도 괜찮습니다.

Google-Extended를 차단하면 AI 개요에서 빠지나요?

아니요. Google은 Google-Extended가 Gemini 학습에 콘텐츠를 쓰는 것을 관리하며, Googlebot을 쓰는 AI 개요를 포함한 Google 검색에는 영향을 주지 않는다고 말합니다.

robots.txt만으로 콘텐츠를 비공개로 유지할 수 있나요?

아니요. 예의 바른 크롤러가 따르는 요청일 뿐입니다. 정말 비공개인 것은 로그인이나 비밀번호 보호가 필요하고, 검색 결과에서 페이지를 빼는 도구는 noindex입니다.