Gratis robots.txt-generator: toestaan, blokkeren en AI-bots | We.Inc
Gratis robots.txt generator: sta alle crawlers toe of blokkeer ze, sluit mappen uit, voeg uw sitemap toe en kies of AI-crawlers zoals GPTBot uw site mogen lezen.
Bouw in een minuut een correct robots.txt-bestand: kies een standaard voor alle crawlers, vermeld mappen om buiten te houden, voeg uw sitemap toe, en beslis of AI-crawlers uw content mogen lezen. Kopieer het resultaat of download het als bestand.
Kies de standaardregel voor alle crawlers: alles toestaan (de meeste sites) of alles blokkeren (staging-sites).
Voeg mappen toe om crawlers buiten te houden, één per regel, zoals /admin/ of /cart/.
Plak uw sitemapadres zodat zoekmachines elke pagina kunnen vinden.
Blokkeer optioneel AI-trainingscrawlers. Kopieer of download dan robots.txt en upload het naar de root van uw domein.
robots.txt moet exact op uwdomein.com/robots.txt staan. Overal elders wordt het genegeerd.
Een pagina blokkeren in robots.txt verwijdert deze niet uit Google. Om een pagina uit resultaten te houden, gebruikt u een noindex-tag en laat u de pagina wel crawlen.
Blokkeer nooit uw CSS- of JavaScript-mappen; Google heeft ze nodig om uw pagina goed te zien.
Controleer het live bestand na het uploaden door het in uw browser te openen.
Veelgestelde vragen
Wat doet robots.txt?
Het vertelt goedwillende crawlers welke delen van uw site ze mogen opvragen. Het is een verzoek, geen slot: het beschermt geen privécontent, en kwaadwillende bots negeren het.
Heb ik een robots.txt-bestand nodig?
Niet strikt. Zonder één nemen crawlers aan dat ze alles mogen crawlen. Er één hebben is nog steeds nuttig om naar uw sitemap te wijzen en crawlers buiten pagina's zoals winkelwagens en beheerschermen te houden.
Moet ik AI-crawlers blokkeren?
Dat is een bedrijfskeuze. Het blokkeren van GPTBot, ClaudeBot, Google-Extended en vergelijkbare crawlers vraagt hen uw content niet voor training te gebruiken, maar kan ook betekenen dat AI-assistenten minder over uw bedrijf weten. Veel kleine bedrijven laten ze toe zodat AI-antwoorden hen kunnen aanbevelen.
Hoe lang duurt het voor wijzigingen effect hebben?
Google leest robots.txt meestal binnen een dag opnieuw. U kunt om een vernieuwing vragen in het robots.txt-rapport in Google Search Console.
Hoe test ik of een URL wordt geblokkeerd door robots.txt?
Gebruik de tester op deze pagina. Plak uw robots.txt (of gebruik de zojuist gegenereerde), voer het adres en de naam van de crawler in, zoals Googlebot, en het toont Toegestaan of Geblokkeerd met de exacte regel die de beslissing nam. Het past Google's matchingregels toe in uw browser en haalt uw live bestand niet op, dus plak de huidige versie van uwdomein.com/robots.txt.
Als zowel een Allow- als een Disallow-regel overeenkomen, welke wint dan?
Voor Google wint de regel met het langste pad, omdat die specifieker is. Als beide paden even lang zijn, wint Allow. Andere crawlers kunnen conflicten anders oplossen, dus vermijd het vertrouwen op gelijke gevallen.
Hoe robots.txt-regels worden gelezen
Een robots.txt-bestand is een lijst met groepen. Elke groep begint met een of meer User-agent-regels die een crawler noemen (of * voor iedereen), gevolgd door Allow- en Disallow-regels met URL-paden. Een crawler gebruikt de meest specifieke groep die hem noemt, en binnen een groep wint het langste overeenkomende pad.
'Disallow: /' blokkeert alles. Een lege 'Disallow:' staat alles toe. 'Disallow: /admin/' blokkeert elk adres dat begint met /admin/. Paden zijn hoofdlettergevoelig.
Een verstandige standaard voor een kleinbedrijfssite
Sta alles toe, blokkeer eventuele beheer-, winkelwagen-, afreken- of accountmappen die uw platform gebruikt, en vermeld uw sitemap. Dat is alles wat de meeste sites nodig hebben. Gebruik robots.txt niet om bedankpagina's of dubbele pagina's voor Google te verbergen; een noindex-tag doet dat werk correct.
Elke site gepubliceerd met We.Inc levert al automatisch een robots.txt en een sitemap, dus u hebt deze generator alleen nodig voor sites die elders gehost worden.
Een URL testen voordat u uploadt
Een kleine fout in robots.txt kan een hele sectie van een site blokkeren, dus test de adressen die ertoe doen voordat u uploadt: uw homepage, een product- of dienstenpagina, een blogbericht en alles wat u van plan was te blokkeren. Voer elk adres in de tester in met de crawler die u het meest interesseert, meestal Googlebot, en controleer of het resultaat en de bepalende regel zijn wat u verwacht.
Jokertekens zijn de meest voorkomende bron van verrassingen. 'Disallow: /*?sort=' blokkeert elk adres dat ?sort= bevat, en 'Disallow: /*.pdf$' blokkeert adressen die eindigen op .pdf maar niet /bestand.pdf?download=1. Onthoud ook dat een crawler die in zijn eigen groep wordt benoemd, zoals Googlebot-Image, de *-groep volledig negeert, zodat regels die u voor iedereen schreef niet op hem van toepassing zijn.