Ce que fait vraiment User-agent: * avec Disallow: /, pourquoi des pages bloquées peuvent encore apparaître dans Google, pourquoi noindex dans robots.txt est ignoré, et un testeur de règles.
Deux lignes, User-agent: * suivie de Disallow: /, demandent à tous les crawlers respectueux de ne plus récupérer aucune page de cet hôte. Elles ne retirent pas les pages des résultats de recherche : Google indique qu'une adresse bloquée peut encore être listée sans description quand d'autres sites pointent vers elle. Pour exclure des pages, utilisez noindex ou un mot de passe.
Comparaison des moyens d'écarter les crawlers ou les moteurs de recherche
robots.txt est un fichier texte brut placé à la racine de votre domaine qui indique aux crawlers, les programmes que les moteurs de recherche envoient lire les pages, quels chemins ils peuvent récupérer. Un fichier qui bloque tout est courant sur les copies de préproduction et les nouveaux sites, et c'est aussi la ligne le plus souvent oubliée par accident au lancement. Testez vos propres règles dans le testeur ci-dessous.
Non. Il empêche Googlebot de lire les pages, mais la documentation de Google indique qu'une URL bloquée peut quand même être indexée et affichée sans extrait. Pour retirer des pages des résultats, laissez Google les explorer et servez plutôt un noindex.
La page de Google sur le blocage de l'indexation indique qu'une règle noindex dans le fichier robots.txt n'est pas prise en charge. Placez noindex dans une balise meta robots dans le head de la page, ou dans un en-tête de réponse X-Robots-Tag pour des fichiers comme les PDF.
Non. La spécification robots.txt de Google liste user-agent, allow, disallow et sitemap comme les champs qu'elle lit et indique que crawl-delay n'est pas pris en charge. Le blog webmaster de Bing indique que Bingbot respecte bien Crawl-delay, avec une plage d'une à trente secondes.
La RFC 9309 indique qu'un crawler doit considérer que tout est bloqué lorsque le fichier est inaccessible à cause d'une erreur serveur. Google arrête l'exploration pendant les 12 premières heures, puis se rabat sur sa dernière copie valide, donc un fichier cassé peut suspendre l'exploration.
Google met généralement le fichier en cache jusqu'à 24 heures, et la RFC 9309 indique que les crawlers ne doivent pas utiliser une copie en cache plus longtemps. Comptez jusqu'à une journée avant qu'un blocage supprimé soit pris en compte.
Chaque fichier ci-dessous se place à la racine d'un hôte, par exemple https://staging.example.com/robots.txt.
Le fichier classique de préproduction. Supprimez-le avant le lancement.
Une valeur Disallow vide ne bloque rien. Ajoutez l'adresse de votre sitemap pour que les crawlers trouvent chaque page.
Le chemin Allow plus long l'emporte sur le chemin Disallow d'un seul caractère.
Laissez la page explorable et ajoutez cette balise dans son head. La version en-tête de réponse fonctionne pour les PDF et les images.
Votre robots.txt
Nom du crawler
Chemin à tester
Résultat
Autorisé : {p} peut être exploré.
Bloqué : {p} ne peut pas être exploré.
Groupe utilisé : celui qui nomme {v}.
Groupe utilisé : User-agent: * (aucun groupe ne nomme ce crawler).
Aucun groupe ne s'applique, donc tout est autorisé.
Ligne décisive {n} : {v}
Aucune règle ne correspond à ce chemin, il est donc autorisé.
Fonctionne dans votre navigateur sur le texte que vous collez, selon la RFC 9309. Rien n'est récupéré ni envoyé.
Commencer gratuitement · Sans carte bancaire