robots.txt para robôs de IA: quais liberar e quais bloquear

Um guia prático dos rastreadores de IA que visitam o site de uma pequena empresa, para que serve cada um segundo o próprio dono e regras de robots.txt que mantêm você nas respostas da busca com IA, deixando de fora o treinamento se você quiser.

As empresas de IA agora enviam vários rastreadores diferentes, e cada um tem uma função. Alguns coletam dados de treinamento. Alguns montam um índice de busca para o qual as respostas trazem links. Alguns buscam uma única página porque um usuário pediu. Bloquear todos numa linha só parece seguro, mas pode tirar silenciosamente uma empresa das respostas da busca com IA que trazem clientes de verdade.

Como o robots.txt funciona

O robots.txt é um arquivo simples na raiz do seu domínio. Cada grupo começa com uma linha User-agent que nomeia um rastreador, seguida de regras Allow ou Disallow. O formato é padronizado na RFC 9309. É um pedido, não uma tranca: rastreadores sérios o seguem, mas ele não protege conteúdo privado, e a documentação do Google observa que bloquear o rastreamento não remove, por si só, uma página do índice.

Os principais rastreadores de IA e o que seus donos dizem que eles fazem

  • OAI-SearchBot (OpenAI): usado para mostrar sites nos resultados da busca do ChatGPT. A documentação de rastreadores da OpenAI diz que sites que o bloqueiam não aparecem nas respostas da busca do ChatGPT, embora ainda possam aparecer como simples links de navegação.
  • GPTBot (OpenAI): coleta conteúdo que pode ser usado para treinar os modelos da OpenAI. Bloqueá-lo é a forma documentada pela OpenAI de ficar fora do treinamento, e isso independe do OAI-SearchBot.
  • ChatGPT-User (OpenAI): busca uma página quando o pedido de uma pessoa precisa dela. A OpenAI observa que as regras do robots.txt podem não valer para essas visitas iniciadas pelo usuário.
  • Google-Extended (Google): não é um rastreador separado, mas um token de produto. Bloqueá-lo diz ao Google para não usar seu conteúdo no treinamento de futuros modelos Gemini nem para embasar alguns dos seus outros sistemas de IA. O Google Search Central diz que isso não afeta a inclusão nem o ranking na Busca do Google, e as AI Overviews são controladas pelo Googlebot e pelos controles normais de snippet.
  • PerplexityBot (Perplexity): indexa páginas para as respostas do Perplexity e, segundo a documentação do Perplexity, não é usado para treinar modelos. O Perplexity-User busca páginas em nome de um usuário e geralmente ignora o robots.txt.
  • Bingbot (Microsoft): alimenta o Bing, que embasa o Microsoft Copilot. Bloqueá-lo tira você dos dois.
  • ClaudeBot e Claude-SearchBot (Anthropic): a Anthropic documenta agentes separados para treinamento e para busca e diz que eles respeitam o robots.txt.
  • Applebot e Applebot-Extended (Apple): o Applebot alimenta os recursos de busca do Spotlight, da Siri e do Safari; o Applebot-Extended permite que você impeça a Apple de usar seu conteúdo para treinar os modelos de base dela, sem afetar a busca.

Uma configuração sensata para um negócio local

A maioria das pequenas empresas quer ser encontrada e citada nas respostas. Uma configuração comum e equilibrada libera os rastreadores de busca e decide à parte sobre o treinamento. Por exemplo, para continuar na busca do ChatGPT e no Perplexity ficando fora do treinamento da OpenAI e do Google:

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Allow: /

Sitemap: https://www.example.com/sitemap.xml

Ficar ou não fora do treinamento é uma decisão de negócio. Estar nos dados de treinamento pode deixar um modelo mais familiarizado com o seu nome; ficar de fora mantém seu texto longe das próximas versões dos modelos. Nenhuma das duas escolhas afeta o ranking na Busca do Google.

Outros lugares onde os robôs são bloqueados

Confira as configurações da sua CDN e de segurança, além do robots.txt. Alguns firewalls de hospedagem e recursos de gestão de bots bloqueiam rastreadores de IA por padrão, o que se sobrepõe a um robots.txt aberto. Se você usa um deles, procure uma configuração de rastreadores de IA e confirme que os agentes de busca que você quer estão liberados.

Teste o seu arquivo

Abra seusite.com/robots.txt no navegador para confirmar que ele carrega. O Google Search Console tem um relatório de robots.txt que mostra a versão que o Google buscou e eventuais erros. O Bing Webmaster Tools oferece um testador de robots.txt. Confira de novo depois de trocar de hospedagem ou instalar um plugin de segurança.

Quando os robôs certos conseguem chegar até você, eles precisam de páginas que valham a leitura, e é aí que o SEO God Mode entra num site da We.Inc, sugerindo temas semanais a partir dos seus próprios serviços e redigindo posts que você aprova.

Perguntas frequentes

Se eu bloquear o GPTBot, vou sumir da busca do ChatGPT?

Não, segundo a OpenAI. O GPTBot é o rastreador de treinamento; a busca do ChatGPT usa o OAI-SearchBot. Liberar um e bloquear o outro não tem problema.

Bloquear o Google-Extended me tira das AI Overviews?

Não. O Google diz que o Google-Extended controla o uso do conteúdo no treinamento do Gemini e não afeta a Busca do Google, inclusive as AI Overviews, que usam o Googlebot.

O robots.txt basta para manter um conteúdo privado?

Não. Ele é um pedido que os rastreadores bem-comportados seguem. Qualquer coisa realmente privada precisa de login ou proteção por senha, e o noindex é a ferramenta para manter uma página fora dos resultados de busca.

Comece grátis · Sem cartão de crédito

Relacionados: Guias

Produto

Para quem é

Recursos

Recursos

Empresa

Mapa do site