robots.txt pour les robots d'IA : lesquels autoriser, lesquels bloquer

Un guide pratique des robots d'IA que voit le site d'une petite entreprise, de ce que fait chacun selon son éditeur, et des règles robots.txt qui vous gardent dans les réponses de recherche IA tout en refusant l'entraînement si vous le souhaitez.

Les entreprises d'IA envoient désormais plusieurs robots différents, et chacun a un rôle distinct. Certains collectent des données d'entraînement. D'autres construisent un index de recherche vers lequel les réponses renvoient. D'autres encore récupèrent une seule page parce qu'un utilisateur l'a demandé. Tous les bloquer d'une seule ligne semble prudent, mais peut discrètement retirer une entreprise des réponses de recherche IA qui envoient de vrais clients.

Comment fonctionne robots.txt

robots.txt est un simple fichier à la racine de votre domaine. Chaque groupe commence par une ligne User-agent qui nomme un robot, suivie de règles Allow ou Disallow. Le format est normalisé dans la RFC 9309. C'est une demande, pas un verrou : les robots sérieux le respectent, mais il ne protège pas le contenu privé, et la documentation de Google rappelle que bloquer l'exploration ne retire pas à lui seul une page de l'index.

Les principaux robots d'IA et ce que leurs éditeurs disent qu'ils font

  • OAI-SearchBot (OpenAI) : sert à faire apparaître des sites dans les résultats de recherche de ChatGPT. La documentation d'OpenAI sur ses robots indique que les sites qui le bloquent ne seront pas affichés dans les réponses de recherche de ChatGPT, même s'ils peuvent encore apparaître sous forme de simples liens de navigation.
  • GPTBot (OpenAI) : collecte du contenu qui peut servir à entraîner les modèles d'OpenAI. Le bloquer est le moyen documenté par OpenAI pour refuser l'entraînement, et c'est indépendant d'OAI-SearchBot.
  • ChatGPT-User (OpenAI) : récupère une page quand la demande d'une personne en a besoin. OpenAI précise que les règles robots.txt peuvent ne pas s'appliquer à ces visites lancées par un utilisateur.
  • Google-Extended (Google) : ce n'est pas un robot distinct mais un jeton produit. L'interdire indique à Google de ne pas utiliser votre contenu pour entraîner les futurs modèles Gemini ni pour l'ancrage de certains de ses autres systèmes d'IA. Google Search Central précise que cela n'affecte ni l'inclusion ni le classement dans la recherche Google, et que les AI Overviews dépendent de Googlebot et des contrôles d'extraits habituels.
  • PerplexityBot (Perplexity) : indexe les pages pour les réponses de Perplexity et, selon sa documentation, ne sert pas à l'entraînement de modèles. Perplexity-User récupère des pages au nom d'un utilisateur et ignore en général robots.txt.
  • Bingbot (Microsoft) : alimente Bing, sur lequel s'appuie Microsoft Copilot. Le bloquer vous retire des deux.
  • ClaudeBot et Claude-SearchBot (Anthropic) : Anthropic documente des agents distincts pour l'entraînement et pour la recherche, et indique qu'ils respectent robots.txt.
  • Applebot et Applebot-Extended (Apple) : Applebot alimente les fonctions de recherche de Spotlight, Siri et Safari ; Applebot-Extended vous permet de refuser qu'Apple utilise votre contenu pour entraîner ses modèles de fondation, sans effet sur la recherche.

Une configuration raisonnable pour une entreprise locale

La plupart des petites entreprises veulent être trouvées et citées dans les réponses. Une configuration courante et équilibrée autorise les robots de recherche et décide séparément pour l'entraînement. Par exemple, pour rester dans la recherche de ChatGPT et dans Perplexity tout en refusant l'entraînement d'OpenAI et de Google :

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Allow: /

Sitemap: https://www.example.com/sitemap.xml

Refuser ou non l'entraînement est un choix d'entreprise. Figurer dans les données d'entraînement peut rendre un modèle plus familier de votre nom ; refuser garde votre texte hors des futurs modèles. Aucun des deux choix n'affecte le classement dans la recherche Google.

Les autres endroits où les robots sont bloqués

Vérifiez vos réglages de CDN et de sécurité en plus de robots.txt. Certains pare-feu d'hébergement et fonctions de gestion des robots bloquent les robots d'IA par défaut, ce qui l'emporte sur un robots.txt ouvert. Si vous en utilisez un, cherchez un réglage pour les robots d'IA et confirmez que les agents de recherche souhaités sont autorisés.

Testez votre fichier

Ouvrez votresite.com/robots.txt dans un navigateur pour vérifier qu'il se charge. Google Search Console propose un rapport robots.txt qui montre la version récupérée par Google et les éventuelles erreurs. Bing Webmaster Tools propose un testeur de robots.txt. Revérifiez après un changement d'hébergeur ou l'installation d'un plugin de sécurité.

Une fois que les bons robots peuvent vous atteindre, il leur faut des pages qui valent la peine d'être lues, et c'est là que SEO God Mode intervient sur un site We.Inc, en proposant chaque semaine des sujets tirés de vos propres services et en rédigeant des articles que vous approuvez.

Questions fréquentes

Si je bloque GPTBot, vais-je disparaître de la recherche de ChatGPT ?

Pas selon OpenAI. GPTBot est le robot d'entraînement ; la recherche de ChatGPT utilise OAI-SearchBot. Autoriser l'un tout en bloquant l'autre ne pose aucun problème.

Bloquer Google-Extended me retire-t-il des AI Overviews ?

Non. Google indique que Google-Extended contrôle l'usage du contenu pour l'entraînement de Gemini et n'affecte pas la recherche Google, y compris les AI Overviews, qui utilisent Googlebot.

robots.txt suffit-il à garder un contenu privé ?

Non. C'est une demande que suivent les robots bien élevés. Tout ce qui est vraiment privé nécessite une connexion ou un mot de passe, et noindex est l'outil pour garder une page hors des résultats de recherche.

Commencer gratuitement · Sans carte bancaire

Voir aussi: Guides

Produit

Pour qui

Fonctionnalités

Ressources

Entreprise

Plan du site