robots.txt no WordPress: regras padrão, edição e exemplos seguros
robots.txt no WordPress
robots.txt no WordPress: regras padrão e exemplos seguros | We.Inc
Onde o WordPress gera o seu robots.txt virtual, as linhas padrão exatas que o core imprime, como substituí-lo por um arquivo real ou um filtro e um gerador de arquivo seguro.
Por padrão, o WordPress não tem um arquivo robots.txt no disco. Quando alguém pede /robots.txt, o core monta um na hora: User-agent: *, Disallow: /wp-admin/, Allow: /wp-admin/admin-ajax.php, mais uma linha Sitemap em sites públicos desde a versão 5.5. Enviar um robots.txt real para a raiz do site substitui essa versão virtual.
O que o core do WordPress imprime em /robots.txt
Linha
De onde vem
Por quê
User-agent: *
do_robots()
As regras valem para todos os rastreadores
Disallow: /wp-admin/
do_robots(), caminho de admin_url()
Mantém os rastreadores fora do painel
Allow: /wp-admin/admin-ajax.php
do_robots()
Temas e plugins chamam este arquivo a partir de páginas públicas
Sitemap: .../wp-sitemap.xml
WP_Sitemaps::add_robots() (5.5+)
Aponta os rastreadores para o índice de sitemap do core; só em sites públicos
Como o arquivo padrão é gerado por código, você não vai encontrá-lo com um cliente FTP nem no gerenciador de arquivos da hospedagem, o que confunde muitos donos de site. Dá para alterá-lo de três formas: enviar um arquivo real, deixar um plugin de SEO editá-lo ou adicionar um pequeno filtro no código. Monte uma versão segura com o gerador abaixo.
Abra seusite.com/robots.txt no navegador para ver o que está sendo servido agora.
Escolha no gerador as opções que combinam com o seu site e informe o endereço do sitemap.
Confira os caminhos de teste logo abaixo: CSS, JavaScript e uploads devem aparecer como permitidos.
Salve o resultado como robots.txt na pasta que contém o wp-config.php, ou cole no editor do seu plugin de SEO.
Nunca bloqueie /wp-content/ nem /wp-includes/. As folhas de estilo, scripts e imagens do seu tema ficam lá, e o Google precisa deles para ver a página como os visitantes veem.
Se você usa um plugin de SEO que gera o próprio sitemap, coloque no arquivo o endereço desse sitemap, e não o do core.
Um arquivo real substitui tudo, inclusive edições de plugins que funcionam pelo arquivo virtual, então remova um arquivo antigo enviado antes de usar o editor de um plugin.
Não tente esconder páginas privadas com o robots.txt. O arquivo é público e lista exatamente os caminhos que você queria esconder.
Perguntas frequentes
Onde fica o arquivo robots.txt no WordPress?
Normalmente em lugar nenhum. A função do_robots escreve a resposta a cada vez que /robots.txt é pedido. Só existe um arquivo para editar se você ou um plugin enviou um robots.txt real para a pasta raiz.
A opção Evitar que mecanismos de busca indexem este site altera o robots.txt?
Não desde o WordPress 5.3. O artigo sobre as Configurações de leitura diz que a opção agora adiciona uma meta tag robots com noindex,nofollow ao head de cada página. Até a 5.2 ela fazia o robots.txt enviar Disallow: /.
Como edito o robots.txt sem plugin?
Envie um arquivo de texto simples chamado robots.txt para a raiz do site, ou use o filtro robots_txt em um pequeno plugin ou no seu tema filho. O filtro recebe o texto gerado e uma flag que diz se o site é público.
Por que o meu robots.txt mostra algo diferente das configurações do meu plugin?
O artigo sobre as Configurações de leitura observa que o comportamento nativo só funciona quando o WordPress está instalado na raiz do site e não existe nenhum robots.txt. Um arquivo físico, uma regra da hospedagem ou uma camada de cache podem servir outra coisa.
Devo bloquear /wp-admin/ afinal?
O padrão já bloqueia, e tudo bem: o painel não tem nada para ranquear. Mantenha a linha Allow do admin-ajax.php para que os recursos públicos que o chamam não sejam bloqueados.
Como o arquivo virtual é montado
O WordPress direciona /robots.txt para a função do_robots. Ela começa a saída com User-agent: *, adiciona uma linha Disallow para a pasta de administração e uma linha Allow para o admin-ajax.php, e depois passa o resultado pelo filtro robots_txt. A classe WP_Sitemaps usa esse mesmo filtro para acrescentar a linha Sitemap quando o site é público.
Os plugins usam o mesmo filtro, e é por isso que um plugin de SEO consegue mostrar um editor de robots.txt sem criar um arquivo.
Regras que vale adicionar em uma loja ou blog
As páginas de resultados da busca interna (endereços com ?s=) podem gerar páginas rasas sem fim, então muitos sites as bloqueiam. Lojas WooCommerce costumam bloquear as páginas de carrinho, checkout e conta, que nunca precisam aparecer na busca.
Mantenha a lista curta. Cada linha a mais é uma chance de bloquear algo importante por engano, e o robots.txt não é uma ferramenta de privacidade.
Edite o arquivo virtual com o filtro robots_txt
Adicione isto a um pequeno plugin personalizado ou ao functions.php do seu tema filho. Só roda quando não existe um robots.txt real na raiz.
Acrescentar regras e um sitemap personalizado
O segundo argumento informa se o site é público, assim uma cópia de staging pode ficar intocada.
Como fica o padrão em um site público
Gerado pelo core em um site instalado na raiz do domínio, com o sitemap do core ativado.
Gerador de robots.txt para WordPress
Bloquear resultados da busca interna
Bloquear carrinho, checkout e conta do WooCommerce
Esta é uma cópia de staging (bloquear tudo)
Endereço do sitemap
O seu robots.txt
Copiar
Copiado
Teste do Googlebot contra o seu arquivo
Gerado no seu navegador. Nada é enviado ou baixado.