robots.txt Disallow All: o que ele bloqueia e o que não bloqueia
robots.txt disallow all
robots.txt Disallow All: o que ele bloqueia e o que não bloqueia | We.Inc
O que User-agent: * com Disallow: / faz de verdade, por que páginas bloqueadas ainda podem aparecer no Google, por que o noindex no robots.txt é ignorado, e um testador de regras.
Duas linhas, User-agent: * seguida de Disallow: /, pedem a todo crawler educado que pare de buscar qualquer página daquele host. Elas não tiram páginas da busca: o Google diz que um endereço bloqueado ainda pode ser listado sem descrição quando outros sites apontam para ele. Para manter páginas fora, use noindex ou uma senha.
Formas de manter crawlers ou buscadores longe, comparadas
Método
Impede o rastreamento
Mantém a página fora dos resultados
robots.txt Disallow: /
Sim, para crawlers que o respeitam
Não, o endereço sozinho ainda pode aparecer
Meta tag noindex ou header X-Robots-Tag
Não, a página precisa continuar rastreável
Sim, assim que o Google a rastrear de novo
Senha ou login
Sim, os crawlers não recebem conteúdo
Sim
Linha noindex dentro do robots.txt
Não
Não, o Google não oferece suporte
O robots.txt é um arquivo de texto simples na raiz do seu domínio que diz aos crawlers, os programas que os buscadores enviam para ler páginas, quais caminhos eles podem buscar. Um arquivo que bloqueia tudo é comum em cópias de homologação e sites novos, e também é a linha mais esquecida por acidente no lançamento. Teste as suas próprias regras no testador abaixo.
Cole o conteúdo completo do seu robots.txt no testador.
Digite o nome de um crawler, como Googlebot ou Bingbot, e um caminho que comece com barra.
Veja qual grupo de regras foi aplicado e qual linha decidiu o resultado.
Mude uma regra e veja o veredito se atualizar, depois copie o arquivo corrigido de volta para o seu servidor.
Antes do dia do lançamento, procure no seu robots.txt em produção uma linha Disallow: / sozinha. Esquecê-la é um jeito silencioso de perder todo o tráfego de busca.
Um crawler que encontra um grupo com o próprio nome ignora completamente o grupo *, então repita as regras compartilhadas dentro dos grupos nomeados.
Uma linha Disallow: vazia significa que nada está bloqueado. É o oposto de Disallow: /.
Para um site de homologação, uma senha é mais segura que o robots.txt, porque bots mal-educados ignoram o arquivo e os endereços ainda podem vazar para os resultados.
Cada subdomínio e cada protocolo precisa do seu próprio arquivo, porque as regras só valem para o host onde o arquivo está.
Perguntas frequentes
Disallow: / tira o meu site do Google?
Não. Ele impede o Googlebot de ler as páginas, mas a documentação do Google diz que uma URL bloqueada ainda pode ser indexada e exibida sem snippet. Para tirar páginas dos resultados, deixe o Google rastreá-las e sirva noindex.
Posso colocar noindex no robots.txt?
A página do Google sobre bloqueio de indexação afirma que uma regra noindex no arquivo robots.txt não é suportada. Coloque o noindex numa meta tag robots no head da página, ou num header de resposta X-Robots-Tag para arquivos como PDFs.
O Google respeita o Crawl-delay?
Não. A especificação de robots.txt do Google lista user-agent, allow, disallow e sitemap como os campos que ele lê e cita o crawl-delay como não suportado. O blog para webmasters do Bing diz que o Bingbot respeita o Crawl-delay, com uma janela de um a trinta segundos.
E se o robots.txt retornar um erro de servidor?
A RFC 9309 diz que um crawler deve presumir bloqueio total quando o arquivo está inacessível por um erro de servidor. O Google para de rastrear nas primeiras 12 horas e depois volta para a última cópia boa, então um arquivo quebrado pode pausar o rastreamento.
Em quanto tempo uma mudança no robots.txt faz efeito?
O Google costuma manter o arquivo em cache por até 24 horas, e a RFC 9309 diz que os crawlers não devem usar uma cópia em cache por mais tempo que isso. Conte com até um dia para que a remoção de um bloqueio seja notada.
Como um crawler lê as suas regras
Primeiro o crawler escolhe um grupo. Ele procura uma linha User-agent com o seu nome e, só quando nenhuma corresponde, recorre ao grupo que começa com User-agent: *. Depois, dentro desse grupo, vence a regra com o caminho correspondente mais longo. Quando uma regra allow e uma regra disallow têm o mesmo comprimento, a RFC 9309 diz que a regra allow deve ser usada.
É por isso que Disallow: / mais Allow: /public/ ainda libera a pasta pública: o caminho do allow é mais longo, portanto mais específico.
Sites de homologação e de pré-lançamento
Uma cópia de desenvolvimento num endereço de homologação pode acabar na busca se alguém colocar um link para ela. Um login ou autenticação HTTP impede tanto o rastreamento quanto a indexação. Se você só puder usar o robots.txt, tome cuidado no lançamento: apague o bloqueio e depois solicite a indexação da página inicial no Search Console.
Se páginas de homologação já aparecem nos resultados, remova o bloqueio do robots.txt por um tempo para que o Google possa rastreá-las e ver uma tag noindex, ou proteja-as com senha.
Receitas para copiar
Cada arquivo abaixo vai na raiz de um host, por exemplo https://staging.example.com/robots.txt.
Bloquear todos os crawlers em todos os caminhos
O arquivo clássico de homologação. Remova antes do lançamento.
Liberar tudo
Um valor de Disallow vazio não bloqueia nada. Adicione o endereço do seu sitemap para que os crawlers encontrem todas as páginas.
Bloquear todos, exceto uma pasta
O caminho mais longo do Allow vence o caminho de um caractere do Disallow.
Manter uma página fora dos resultados
Deixe a página rastreável e adicione esta tag ao head. A forma de header de resposta funciona para PDFs e imagens.
Testador de disallow all
O seu robots.txt
Nome do crawler
Caminho para testar
Resultado
Liberado: {p} pode ser rastreado.
Bloqueado: {p} não pode ser rastreado.
Grupo usado: o que cita {v}.
Grupo usado: User-agent: * (nenhum grupo cita este crawler).
Nenhum grupo se aplica, então tudo está liberado.
Linha decisiva {n}: {v}
Nenhuma regra corresponde a este caminho, então ele está liberado.
Roda no seu navegador sobre o texto que você cola, seguindo a RFC 9309. Nada é buscado nem enviado.