robots.txt 파일을 무료로 만드세요. 모든 크롤러의 허용 또는 차단, 제외할 폴더, 사이트맵을 설정하고 GPTBot 같은 AI 크롤러의 사이트 읽기도 선택할 수 있습니다.
1분 만에 올바른 robots.txt 파일을 만드세요. 모든 크롤러의 기본 규칙을 선택하고, 차단할 폴더를 입력하고, 사이트맵을 추가한 다음 AI 크롤러의 콘텐츠 읽기 허용 여부를 정하세요. 결과를 복사하거나 파일로 다운로드할 수 있습니다.
모든 크롤러의 기본 규칙을 선택하세요. 모두 허용(대부분의 사이트) 또는 모두 차단(스테이징 사이트) 중에서 고를 수 있습니다.
크롤러 접근을 차단할 폴더를 한 줄에 하나씩 추가하세요. 예: /admin/ 또는 /cart/.
검색 엔진이 모든 페이지를 찾을 수 있도록 사이트맵 주소를 붙여넣으세요.
선택 사항으로 AI 학습 크롤러를 차단하세요. 그런 다음 robots.txt를 복사하거나 다운로드해 도메인의 루트에 업로드하세요.
robots.txt는 정확히 yourdomain.com/robots.txt에 있어야 합니다. 다른 위치의 파일은 무시됩니다.
robots.txt에서 페이지를 차단해도 Google에서 삭제되지는 않습니다. 검색 결과에서 제외하려면 크롤링을 허용한 뒤 noindex 태그를 사용하세요.
CSS 또는 JavaScript 폴더는 차단하지 마세요. Google이 페이지를 제대로 확인하려면 해당 파일이 필요합니다.
업로드한 뒤 브라우저에서 파일을 열어 실제로 제공되는지 확인하세요.
자주 묻는 질문
robots.txt는 어떤 역할을 하나요?
규칙을 따르는 크롤러에 사이트의 어느 부분을 요청해도 되는지 알려줍니다. 강제 차단 기능은 아니므로 비공개 콘텐츠를 보호하지 않으며 악성 봇은 무시할 수 있습니다.
robots.txt 파일이 필요한가요?
반드시 필요한 것은 아닙니다. 파일이 없으면 크롤러는 모든 페이지를 크롤링할 수 있다고 봅니다. 그래도 사이트맵을 안내하고 장바구니나 관리자 화면 같은 페이지의 크롤링을 막는 데 유용합니다.
AI 크롤러를 차단해야 하나요?
사업상의 선택입니다. GPTBot, ClaudeBot, Google-Extended 및 비슷한 크롤러를 차단하면 학습에 콘텐츠를 사용하지 말라는 요청을 전달할 수 있지만, AI 어시스턴트가 사업 정보를 덜 알게 될 수도 있습니다. 많은 소규모 사업자는 AI 답변에서 추천될 수 있도록 허용 상태로 둡니다.
변경 사항이 적용되기까지 얼마나 걸리나요?
Google은 보통 하루 안에 robots.txt를 다시 읽습니다. Google Search Console의 robots.txt 보고서에서 새로 고침을 요청할 수 있습니다.
URL이 robots.txt에 의해 차단되는지 어떻게 테스트하나요?
이 페이지의 테스터를 사용하세요. robots.txt를 붙여넣거나(방금 생성한 것을 사용) 주소와 Googlebot 같은 크롤러 이름을 입력하면 허용 또는 차단 여부와 결정한 정확한 규칙을 알려줍니다. 브라우저에서 Google의 일치 규칙을 적용하며 실제 파일을 가져오지 않으므로 yourdomain.com/robots.txt에서 현재 버전을 붙여넣으세요.
Allow 규칙과 Disallow 규칙이 모두 일치하면 어느 것이 우선하나요?
Google의 경우 경로가 더 긴 규칙이 더 구체적이기 때문에 우선합니다. 두 경로의 길이가 같으면 Allow가 우선합니다. 다른 크롤러는 충돌을 다르게 해결할 수 있으므로 동점 상황에 의존하지 마세요.
robots.txt 규칙을 읽는 방법
robots.txt 파일은 여러 그룹으로 구성된 목록입니다. 각 그룹은 크롤러를 지정하는 하나 이상의 User-agent 행(또는 모든 크롤러를 뜻하는 *)으로 시작하고, 이어서 URL 경로를 지정하는 Allow 및 Disallow 행이 나옵니다. 크롤러는 자신을 지정한 그룹 중 가장 구체적인 것을 사용하고, 한 그룹 안에서는 일치하는 경로가 가장 긴 규칙이 우선합니다.
'Disallow: /'는 모든 경로를 차단합니다. 비어 있는 'Disallow:'는 모든 경로를 허용합니다. 'Disallow: /admin/'은 /admin/으로 시작하는 모든 주소를 차단합니다. 경로는 대소문자를 구분합니다.
소규모 사업자 사이트에 적합한 기본 설정
모든 크롤러를 허용하고 플랫폼에서 사용하는 관리자, 장바구니, 결제 또는 계정 폴더는 차단한 다음 사이트맵을 지정하세요. 대부분의 사이트에는 이것으로 충분합니다. Google에서 감사 페이지나 중복 페이지를 숨기려고 robots.txt를 사용하지 마세요. 이 목적에는 noindex 태그가 적합합니다.
We.Inc로 게시한 모든 사이트에는 robots.txt와 사이트맵이 자동으로 제공되므로 다른 호스팅 사이트에서만 이 생성기를 사용하면 됩니다.
업로드 전 URL 테스트
robots.txt에 작은 실수 하나가 사이트의 전체 섹션을 차단할 수 있으므로 업로드 전에 중요한 주소를 테스트하세요. 홈페이지, 제품 또는 서비스 페이지, 블로그 게시물, 차단하려는 페이지 등을 차단하려는 크롤러(보통 Googlebot)로 각각 입력하고 결과와 결정 규칙이 예상과 일치하는지 확인하세요.
와일드카드가 가장 많은 놀라움의 원인입니다. 'Disallow: /*?sort='는 ?sort=를 포함하는 모든 주소를 차단하고, 'Disallow: /*.pdf$'는 .pdf로 끝나는 주소를 차단하지만 /file.pdf?download=1은 차단하지 않습니다. 또한 Googlebot-Image처럼 자체 그룹이 있는 크롤러는 * 그룹을 완전히 무시하므로 모든 크롤러를 위해 작성한 규칙이 적용되지 않습니다.