Wat User-agent: * met Disallow: / echt doet, waarom geblokkeerde pagina's toch in Google kunnen verschijnen, waarom noindex in robots.txt wordt genegeerd, en een regelmatcher.
Twee regels, User-agent: * gevolgd door Disallow: /, vragen elke nette crawler om geen enkele pagina op die host meer op te halen. Ze verwijderen geen pagina's uit de zoekresultaten: Google zegt dat een geblokkeerd adres nog steeds zonder beschrijving kan worden getoond als andere sites ernaar linken. Om pagina's buiten de resultaten te houden, gebruikt u noindex of een wachtwoord.
Manieren om crawlers of zoekers weg te houden, vergeleken
robots.txt is een platte tekstbestand in de root van uw domein dat crawlers, de programma's die zoekmachines sturen om pagina's te lezen, vertelt welke paden ze mogen ophalen. Een bestand dat alles blokkeert is gebruikelijk op stagingkopieën en nieuwe sites, en het is ook de regel die bij de lancering het vaakst per ongeluk blijft staan. Test uw eigen regels in de matcher hieronder.
Nee. Het voorkomt dat Googlebot pagina's leest, maar de documentatie van Google zegt dat een geblokkeerde URL toch geïndexeerd en zonder snippet getoond kan worden. Om pagina's uit de resultaten te halen, laat u Google ze crawlen en serveert u in plaats daarvan noindex.
De pagina van Google over het blokkeren van indexering stelt dat een noindex-regel in het robots.txt-bestand niet wordt ondersteund. Zet noindex in een robots-metatag in de head van de pagina, of in een X-Robots-Tag-responsheader voor bestanden zoals PDF's.
Nee. De robots.txt-specificatie van Google noemt user-agent, allow, disallow en sitemap als de velden die worden gelezen en noemt crawl-delay niet ondersteund. Het webmasterblog van Bing zegt dat Bingbot Crawl-delay wel respecteert, met een venster van één tot dertig seconden.
RFC 9309 zegt dat een crawler moet uitgaan van een volledige blokkade wanneer het bestand door een serverfout onbereikbaar is. Google stopt de eerste 12 uur met crawlen en valt daarna terug op de laatste goede kopie, dus een kapot bestand kan het crawlen pauzeren.
Google bewaart het bestand meestal tot 24 uur in de cache, en RFC 9309 zegt dat crawlers een gecachte kopie niet langer dan dat mogen gebruiken. Reken op maximaal een dag voordat een verwijderde blokkade wordt opgemerkt.
Elk bestand hieronder hoort in de root van één host, bijvoorbeeld https://staging.example.com/robots.txt.
Het klassieke stagingbestand. Verwijder het vóór de lancering.
Een lege Disallow-waarde blokkeert niets. Voeg het adres van uw sitemap toe zodat crawlers elke pagina vinden.
Het langere Allow-pad wint van het Disallow-pad van één teken.
Laat de pagina crawlbaar en voeg deze tag aan de head toe. De vorm als responsheader werkt voor PDF's en afbeeldingen.
Uw robots.txt
Naam van de crawler
Te testen pad
Resultaat
Toegestaan: {p} mag worden gecrawld.
Geblokkeerd: {p} mag niet worden gecrawld.
Gebruikte groep: de groep die {v} noemt.
Gebruikte groep: User-agent: * (geen groep noemt deze crawler).
Geen enkele groep is van toepassing, dus alles is toegestaan.
Beslissende regel {n}: {v}
Geen regel komt overeen met dit pad, dus het is toegestaan.
Draait in uw browser op de tekst die u plakt, volgens RFC 9309. Er wordt niets opgehaald of geüpload.
Gratis beginnen · Geen creditcard nodig