Exemplos de sitemap.xml e robots.txt, comentados | We.Inc
Exemplos de sitemap.xml, índice de sitemaps e robots.txt prontos para copiar, com cada linha explicada, os limites de 50,000 URLs e 500 KiB, regras com curingas e um mini gerador de sitemap.
Exemplos de sitemap.xml e robots.txt
Um sitemap.xml lista as URLs que você quer que sejam rastreadas, cada uma em um elemento url com um loc e um lastmod opcional, até 50,000 URLs ou 50 MB por arquivo. Um robots.txt na raiz do site diz aos rastreadores quais caminhos pular com linhas User-agent, Disallow e Allow, e pode apontar para o sitemap.
Principais limites e regras
Item
Regra
URLs por sitemap
Máximo de 50,000
Tamanho do arquivo de sitemap
Máximo de 50 MB sem compressão
Formato das URLs nos sitemaps
Completas, por exemplo https://example.com/page
Local do robots.txt
Raiz do host, por exemplo https://example.com/robots.txt
Tamanho do robots.txt lido pelo Google
500 KiB
Campos que o Google aceita no robots.txt
user-agent, allow, disallow, sitemap
Os geradores cospem um arquivo, mas raramente explicam por que cada linha está ali ou o que acontece quando duas regras discordam. Cada exemplo abaixo vem comentado, e o gerador transforma uma lista simples das suas páginas em um sitemap válido, com os caracteres especiais já escapados para você.
Cole uma URL completa por linha no gerador e escolha uma data de lastmod, se tiver uma.
Copie o XML gerado para um arquivo chamado sitemap.xml na raiz do seu site.
Escolha o exemplo de robots.txt mais parecido com a sua configuração e edite os caminhos.
Adicione uma linha Sitemap ao robots.txt e envie o sitemap no Search Console.
Liste apenas URLs canônicas que retornam 200. Redirecionamentos, 404s e páginas com noindex em um sitemap enviam sinais contraditórios.
Defina o lastmod como a data em que o conteúdo principal realmente mudou. O Google só o usa quando ele é preciso de forma consistente.
O Google ignora changefreq e priority, então você pode deixá-los de fora.
Bloquear uma página no robots.txt não a remove da busca. Para manter uma página fora dos resultados, permita o rastreamento e adicione uma meta tag robots com noindex.
Perguntas frequentes
Onde o sitemap.xml deve ficar?
Qualquer lugar no mesmo host funciona, mas a raiz é o lugar habitual, porque pelo protocolo do sitemaps.org um sitemap geralmente cobre apenas URLs na própria pasta ou abaixo dela. Informe aos buscadores onde ele está com uma linha Sitemap no robots.txt ou enviando-o no Search Console.
Como listo mais de 50,000 URLs?
Divida-as em vários arquivos de sitemap e liste esses arquivos em um índice de sitemaps. O índice usa os elementos sitemapindex e sitemap em vez de urlset e url, e pode referenciar até 50,000 sitemaps.
O Google aceita Crawl-delay ou Noindex no robots.txt?
Não. O Google lê apenas user-agent, allow, disallow e sitemap. Outros rastreadores podem respeitar o Crawl-delay, mas o Googlebot o ignora, e o noindex precisa ir em uma meta tag ou no cabeçalho X-Robots-Tag.
O que acontece quando Allow e Disallow correspondem à mesma URL?
O Google escolhe a regra mais específica, ou seja, a que tem o caminho correspondente mais longo. Se duas regras forem igualmente específicas, ele usa a menos restritiva, que é a Allow.
Preciso escapar caracteres nas URLs do sitemap?
Sim. Um sitemap é XML, então um e comercial deve ser escrito como & e os outros caracteres reservados como suas entidades. O arquivo também precisa estar codificado em UTF-8.
Para que serve cada arquivo
O sitemap é um convite: estas são as páginas que vale a pena rastrear e quando elas mudaram pela última vez. Ele ajuda mais em sites novos, sites grandes e páginas que recebem poucos links internos.
O robots.txt é um conjunto de instruções de rastreamento, não uma ferramenta de segurança. Qualquer pessoa pode lê-lo, e bots mal-comportados o ignoram, então nunca dependa dele para esconder áreas privadas. Proteja essas áreas com login.
Como as regras são comparadas
Um rastreador escolhe o grupo cuja linha User-agent corresponde a ele da forma mais específica e ignora o resto. O Googlebot, se tiver um grupo próprio, não vai ler as regras em User-agent: *.
Os caminhos diferenciam maiúsculas de minúsculas e são comparados a partir do início. Um asterisco representa qualquer sequência de caracteres e um cifrão marca o fim da URL, então Disallow: /*.pdf$ bloqueia todos os PDFs.
Exemplos de sitemap
sitemap.xml básico
A declaração xml, o urlset com o namespace do protocolo e um url por página. O lastmod usa o formato de data da W3C.
Índice de sitemaps para sites grandes
Aponta para sitemaps filhos. Cada filho segue o mesmo limite de 50,000 URLs e 50 MB.
Exemplos de robots.txt
Liberar tudo e apontar para o sitemap
Um Disallow vazio significa que nada está bloqueado. É o arquivo certo para a maioria dos sites de pequenas empresas.
Loja online: pular carrinhos, contas e combinações de filtros
Bloqueia padrões de URL que criam duplicatas sem fim, mantendo abertas as páginas de produto e de categoria.
Bloquear um site de staging inteiro
Impede rastreadores que seguem as regras em uma cópia de teste. Adicione também uma senha, já que este arquivo apenas pede com educação.
Curingas para tipos de arquivo
O cifrão significa que a URL termina ali, então /guide.pdf é bloqueado, mas /guide.pdf.html não.
Qual regra vence
Como o Google compara regras de exemplo
Regras
URL
Resultado
Por quê
Allow: /p e Disallow: /
Permitida
Allow: /folder e Disallow: /folder
Permitida
Mesmo comprimento, vence a menos restritiva
Disallow: /*.php$
Permitida
A URL não termina em .php
Disallow: /fish
Permitida
Os caminhos diferenciam maiúsculas de minúsculas
Mini gerador de sitemap
Cole uma URL completa por linha e o gerador escreve um urlset válido, com os caracteres especiais escapados.
Suas URLs, uma por linha
lastmod para todas (opcional)
{n} URL incluída.
{n} URLs incluídas.
{n} linha(s) ignorada(s) por não serem URLs http ou https completas.