robots.txt no WordPress: regras padrão, edição e exemplos seguros

robots.txt no WordPress

robots.txt no WordPress: regras padrão e exemplos seguros | We.Inc

Onde o WordPress gera o seu robots.txt virtual, as linhas padrão exatas que o core imprime, como substituí-lo por um arquivo real ou um filtro e um gerador de arquivo seguro.

Por padrão, o WordPress não tem um arquivo robots.txt no disco. Quando alguém pede /robots.txt, o core monta um na hora: User-agent: *, Disallow: /wp-admin/, Allow: /wp-admin/admin-ajax.php, mais uma linha Sitemap em sites públicos desde a versão 5.5. Enviar um robots.txt real para a raiz do site substitui essa versão virtual.

O que o core do WordPress imprime em /robots.txt

  • Linha
  • De onde vem
  • Por quê
  • User-agent: *
  • do_robots()
  • As regras valem para todos os rastreadores
  • Disallow: /wp-admin/
  • do_robots(), caminho de admin_url()
  • Mantém os rastreadores fora do painel
  • Allow: /wp-admin/admin-ajax.php
  • do_robots()
  • Temas e plugins chamam este arquivo a partir de páginas públicas
  • Sitemap: .../wp-sitemap.xml
  • WP_Sitemaps::add_robots() (5.5+)
  • Aponta os rastreadores para o índice de sitemap do core; só em sites públicos

Como o arquivo padrão é gerado por código, você não vai encontrá-lo com um cliente FTP nem no gerenciador de arquivos da hospedagem, o que confunde muitos donos de site. Dá para alterá-lo de três formas: enviar um arquivo real, deixar um plugin de SEO editá-lo ou adicionar um pequeno filtro no código. Monte uma versão segura com o gerador abaixo.

  • Abra seusite.com/robots.txt no navegador para ver o que está sendo servido agora.
  • Escolha no gerador as opções que combinam com o seu site e informe o endereço do sitemap.
  • Confira os caminhos de teste logo abaixo: CSS, JavaScript e uploads devem aparecer como permitidos.
  • Salve o resultado como robots.txt na pasta que contém o wp-config.php, ou cole no editor do seu plugin de SEO.
  • Nunca bloqueie /wp-content/ nem /wp-includes/. As folhas de estilo, scripts e imagens do seu tema ficam lá, e o Google precisa deles para ver a página como os visitantes veem.
  • Se você usa um plugin de SEO que gera o próprio sitemap, coloque no arquivo o endereço desse sitemap, e não o do core.
  • Um arquivo real substitui tudo, inclusive edições de plugins que funcionam pelo arquivo virtual, então remova um arquivo antigo enviado antes de usar o editor de um plugin.
  • Não tente esconder páginas privadas com o robots.txt. O arquivo é público e lista exatamente os caminhos que você queria esconder.

Perguntas frequentes

Onde fica o arquivo robots.txt no WordPress?

Normalmente em lugar nenhum. A função do_robots escreve a resposta a cada vez que /robots.txt é pedido. Só existe um arquivo para editar se você ou um plugin enviou um robots.txt real para a pasta raiz.

A opção Evitar que mecanismos de busca indexem este site altera o robots.txt?

Não desde o WordPress 5.3. O artigo sobre as Configurações de leitura diz que a opção agora adiciona uma meta tag robots com noindex,nofollow ao head de cada página. Até a 5.2 ela fazia o robots.txt enviar Disallow: /.

Como edito o robots.txt sem plugin?

Envie um arquivo de texto simples chamado robots.txt para a raiz do site, ou use o filtro robots_txt em um pequeno plugin ou no seu tema filho. O filtro recebe o texto gerado e uma flag que diz se o site é público.

Por que o meu robots.txt mostra algo diferente das configurações do meu plugin?

O artigo sobre as Configurações de leitura observa que o comportamento nativo só funciona quando o WordPress está instalado na raiz do site e não existe nenhum robots.txt. Um arquivo físico, uma regra da hospedagem ou uma camada de cache podem servir outra coisa.

Devo bloquear /wp-admin/ afinal?

O padrão já bloqueia, e tudo bem: o painel não tem nada para ranquear. Mantenha a linha Allow do admin-ajax.php para que os recursos públicos que o chamam não sejam bloqueados.

Como o arquivo virtual é montado

  • O WordPress direciona /robots.txt para a função do_robots. Ela começa a saída com User-agent: *, adiciona uma linha Disallow para a pasta de administração e uma linha Allow para o admin-ajax.php, e depois passa o resultado pelo filtro robots_txt. A classe WP_Sitemaps usa esse mesmo filtro para acrescentar a linha Sitemap quando o site é público.
  • Os plugins usam o mesmo filtro, e é por isso que um plugin de SEO consegue mostrar um editor de robots.txt sem criar um arquivo.

Regras que vale adicionar em uma loja ou blog

  • As páginas de resultados da busca interna (endereços com ?s=) podem gerar páginas rasas sem fim, então muitos sites as bloqueiam. Lojas WooCommerce costumam bloquear as páginas de carrinho, checkout e conta, que nunca precisam aparecer na busca.
  • Mantenha a lista curta. Cada linha a mais é uma chance de bloquear algo importante por engano, e o robots.txt não é uma ferramenta de privacidade.

Edite o arquivo virtual com o filtro robots_txt

Adicione isto a um pequeno plugin personalizado ou ao functions.php do seu tema filho. Só roda quando não existe um robots.txt real na raiz.

Acrescentar regras e um sitemap personalizado

O segundo argumento informa se o site é público, assim uma cópia de staging pode ficar intocada.

Como fica o padrão em um site público

Gerado pelo core em um site instalado na raiz do domínio, com o sitemap do core ativado.

Gerador de robots.txt para WordPress

Bloquear resultados da busca interna

Bloquear carrinho, checkout e conta do WooCommerce

Esta é uma cópia de staging (bloquear tudo)

Endereço do sitemap

O seu robots.txt

Copiar

Copiado

Teste do Googlebot contra o seu arquivo

Gerado no seu navegador. Nada é enviado ou baixado.

Comece o teste grátis · Teste grátis de 7 dias, $0 hoje

Relacionados: Guias

Produto

Para quem é

Recursos

Recursos

Empresa

Mapa do site