robots.txt no WordPress: regras padrão, edição e exemplos seguros
robots.txt no WordPress
robots.txt no WordPress: regras padrão e exemplos seguros | We.Inc
Onde o WordPress gera o seu robots.txt virtual, as linhas padrão exatas que o core imprime, como substituí-lo por um arquivo real ou um filtro e um gerador de arquivo seguro.
Por padrão, o WordPress não tem um arquivo robots.txt no disco. Quando alguém pede /robots.txt, o core monta um na hora: User-agent: *, Disallow: /wp-admin/, Allow: /wp-admin/admin-ajax.php, mais uma linha Sitemap em sites públicos desde a versão 5.5. Enviar um robots.txt real para a raiz do site substitui essa versão virtual.
O que o core do WordPress imprime em /robots.txt
- Linha
- De onde vem
- Por quê
- User-agent: *
- do_robots()
- As regras valem para todos os rastreadores
- Disallow: /wp-admin/
- do_robots(), caminho de admin_url()
- Mantém os rastreadores fora do painel
- Allow: /wp-admin/admin-ajax.php
- do_robots()
- Temas e plugins chamam este arquivo a partir de páginas públicas
- Sitemap: .../wp-sitemap.xml
- WP_Sitemaps::add_robots() (5.5+)
- Aponta os rastreadores para o índice de sitemap do core; só em sites públicos
Como o arquivo padrão é gerado por código, você não vai encontrá-lo com um cliente FTP nem no gerenciador de arquivos da hospedagem, o que confunde muitos donos de site. Dá para alterá-lo de três formas: enviar um arquivo real, deixar um plugin de SEO editá-lo ou adicionar um pequeno filtro no código. Monte uma versão segura com o gerador abaixo.
- Abra seusite.com/robots.txt no navegador para ver o que está sendo servido agora.
- Escolha no gerador as opções que combinam com o seu site e informe o endereço do sitemap.
- Confira os caminhos de teste logo abaixo: CSS, JavaScript e uploads devem aparecer como permitidos.
- Salve o resultado como robots.txt na pasta que contém o wp-config.php, ou cole no editor do seu plugin de SEO.
- Nunca bloqueie /wp-content/ nem /wp-includes/. As folhas de estilo, scripts e imagens do seu tema ficam lá, e o Google precisa deles para ver a página como os visitantes veem.
- Se você usa um plugin de SEO que gera o próprio sitemap, coloque no arquivo o endereço desse sitemap, e não o do core.
- Um arquivo real substitui tudo, inclusive edições de plugins que funcionam pelo arquivo virtual, então remova um arquivo antigo enviado antes de usar o editor de um plugin.
- Não tente esconder páginas privadas com o robots.txt. O arquivo é público e lista exatamente os caminhos que você queria esconder.
Perguntas frequentes
Onde fica o arquivo robots.txt no WordPress?
Normalmente em lugar nenhum. A função do_robots escreve a resposta a cada vez que /robots.txt é pedido. Só existe um arquivo para editar se você ou um plugin enviou um robots.txt real para a pasta raiz.
A opção Evitar que mecanismos de busca indexem este site altera o robots.txt?
Não desde o WordPress 5.3. O artigo sobre as Configurações de leitura diz que a opção agora adiciona uma meta tag robots com noindex,nofollow ao head de cada página. Até a 5.2 ela fazia o robots.txt enviar Disallow: /.
Como edito o robots.txt sem plugin?
Envie um arquivo de texto simples chamado robots.txt para a raiz do site, ou use o filtro robots_txt em um pequeno plugin ou no seu tema filho. O filtro recebe o texto gerado e uma flag que diz se o site é público.
Por que o meu robots.txt mostra algo diferente das configurações do meu plugin?
O artigo sobre as Configurações de leitura observa que o comportamento nativo só funciona quando o WordPress está instalado na raiz do site e não existe nenhum robots.txt. Um arquivo físico, uma regra da hospedagem ou uma camada de cache podem servir outra coisa.
Devo bloquear /wp-admin/ afinal?
O padrão já bloqueia, e tudo bem: o painel não tem nada para ranquear. Mantenha a linha Allow do admin-ajax.php para que os recursos públicos que o chamam não sejam bloqueados.
Como o arquivo virtual é montado
- O WordPress direciona /robots.txt para a função do_robots. Ela começa a saída com User-agent: *, adiciona uma linha Disallow para a pasta de administração e uma linha Allow para o admin-ajax.php, e depois passa o resultado pelo filtro robots_txt. A classe WP_Sitemaps usa esse mesmo filtro para acrescentar a linha Sitemap quando o site é público.
- Os plugins usam o mesmo filtro, e é por isso que um plugin de SEO consegue mostrar um editor de robots.txt sem criar um arquivo.
Regras que vale adicionar em uma loja ou blog
- As páginas de resultados da busca interna (endereços com ?s=) podem gerar páginas rasas sem fim, então muitos sites as bloqueiam. Lojas WooCommerce costumam bloquear as páginas de carrinho, checkout e conta, que nunca precisam aparecer na busca.
- Mantenha a lista curta. Cada linha a mais é uma chance de bloquear algo importante por engano, e o robots.txt não é uma ferramenta de privacidade.
Edite o arquivo virtual com o filtro robots_txt
Adicione isto a um pequeno plugin personalizado ou ao functions.php do seu tema filho. Só roda quando não existe um robots.txt real na raiz.
Acrescentar regras e um sitemap personalizado
O segundo argumento informa se o site é público, assim uma cópia de staging pode ficar intocada.
Como fica o padrão em um site público
Gerado pelo core em um site instalado na raiz do domínio, com o sitemap do core ativado.
Gerador de robots.txt para WordPress
Bloquear resultados da busca interna
Bloquear carrinho, checkout e conta do WooCommerce
Esta é uma cópia de staging (bloquear tudo)
Endereço do sitemap
O seu robots.txt
Copiar
Copiado
Teste do Googlebot contra o seu arquivo
Gerado no seu navegador. Nada é enviado ou baixado.
Comece o teste grátis · Teste grátis de 7 dias, $0 hoje
Relacionados: Guias
- Com www ou sem www
- Comentários em YAML
- YAML front matter
- Strings multilinha em YAML
- YAML vs JSON
- 401 vs 403
- Exemplos de página 404
- Exemplos e modelos de e-mail de carrinho abandonado
Produto
Para quem é
- Para agências
- Para freelancers
- Para provedores de hospedagem
- Para plataformas SaaS
- Para startups
- Serviços financeiros
- Soluções para saúde
Recursos
Recursos
- Blog
- Central de Ajuda
- Ferramentas gratuitas para empresas
- Free UI Components
- Modelos
- Coleções de modelos
- Exemplos de sites
- Guias
- Comparações
- Alternativas
- Os melhores
- Avaliações
- Guias de preços
- Casos de uso
- Glossário e guias
- Integrações
- Desenvolvedores
- Benchmark
- Windows App