robots.txt voor AI-bots: welke je toelaat en welke je blokkeert

Een praktische gids over de AI-crawlers die een kleine bedrijfssite ziet, waar elk ervan volgens de eigenaar voor dient, en robots.txt-regels die je in AI-zoekantwoorden houden terwijl je je desgewenst afmeldt voor training.

AI-bedrijven sturen nu verschillende crawlers, en elk heeft een andere taak. Sommige verzamelen trainingsdata. Sommige bouwen een zoekindex waar antwoorden naar terugverwijzen. Sommige halen één pagina op omdat een gebruiker erom vroeg. Ze allemaal in één regel blokkeren voelt veilig, maar kan een bedrijf ongemerkt laten verdwijnen uit AI-zoekantwoorden die echte klanten opleveren.

Hoe robots.txt werkt

robots.txt is een eenvoudig bestand in de hoofdmap van je domein. Elke groep begint met een regel User-agent die een crawler noemt, gevolgd door regels met Allow of Disallow. Het formaat is gestandaardiseerd in RFC 9309. Het is een verzoek, geen slot: betrouwbare crawlers volgen het, maar het beschermt geen privécontent, en de documentatie van Google vermeldt dat het blokkeren van crawlen een pagina niet vanzelf uit de index haalt.

De belangrijkste AI-crawlers en wat hun eigenaren zeggen dat ze doen

  • OAI-SearchBot (OpenAI): wordt gebruikt om sites te tonen in de zoekresultaten van ChatGPT. De crawlerdocumentatie van OpenAI zegt dat sites die hem blokkeren niet getoond worden in de zoekantwoorden van ChatGPT, al kunnen ze nog als gewone navigatielinks verschijnen.
  • GPTBot (OpenAI): verzamelt content die gebruikt kan worden om de modellen van OpenAI te trainen. Hem blokkeren is de door OpenAI gedocumenteerde manier om je af te melden voor training, en dat staat los van OAI-SearchBot.
  • ChatGPT-User (OpenAI): haalt een pagina op als het verzoek van iemand daarom vraagt. OpenAI vermeldt dat regels in robots.txt mogelijk niet gelden voor deze bezoeken die een gebruiker in gang zet.
  • Google-Extended (Google): geen aparte crawler maar een producttoken. Het uitsluiten ervan vertelt Google je content niet te gebruiken voor het trainen van toekomstige Gemini-modellen of voor onderbouwing in sommige van zijn andere AI-systemen. Google Search Central zegt dat het geen invloed heeft op opname of ranking in Google Search, en AI Overviews vallen onder Googlebot en de gewone snippet-instellingen.
  • PerplexityBot (Perplexity): indexeert pagina's voor de antwoorden van Perplexity en wordt volgens de documentatie van Perplexity niet gebruikt voor modeltraining. Perplexity-User haalt pagina's op namens een gebruiker en negeert robots.txt meestal.
  • Bingbot (Microsoft): voedt Bing, waarop Microsoft Copilot steunt. Hem blokkeren haalt je uit beide.
  • ClaudeBot en Claude-SearchBot (Anthropic): Anthropic documenteert aparte agents voor training en voor zoeken, en zegt dat ze robots.txt respecteren.
  • Applebot en Applebot-Extended (Apple): Applebot drijft zoekfuncties in Spotlight, Siri en Safari aan; met Applebot-Extended meld je je af voor het gebruik van content door Apple om zijn basismodellen te trainen, zonder dat zoeken erdoor geraakt wordt.

Een verstandige instelling voor een lokaal bedrijf

De meeste kleine bedrijven willen gevonden en genoemd worden in antwoorden. Een gangbare, evenwichtige instelling laat zoekcrawlers toe en beslist apart over training. Bijvoorbeeld, om in de zoekfunctie van ChatGPT en in Perplexity te blijven terwijl je je afmeldt voor training door OpenAI en Google:

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Allow: /

Sitemap: https://www.example.com/sitemap.xml

Of je je afmeldt voor training, is een zakelijke keuze. In trainingsdata staan kan een model vertrouwder maken met je naam; afmelden houdt je tekst buiten toekomstige modellen. Geen van beide keuzes beïnvloedt je ranking in Google Search.

Andere plekken waar bots geblokkeerd worden

Controleer naast robots.txt ook je CDN- en beveiligingsinstellingen. Sommige firewalls van hostingbedrijven en functies voor botbeheer blokkeren AI-crawlers standaard, en dat gaat boven een open robots.txt. Gebruik je zoiets, zoek dan naar een instelling voor AI-crawlers en controleer of de zoekagents die je wilt zijn toegestaan.

Test je bestand

Open jouwsite.nl/robots.txt in een browser om te controleren of het laadt. Google Search Console heeft een robots.txt-rapport met de versie die Google ophaalde en eventuele fouten. Bing Webmaster Tools biedt een robots.txt-tester. Controleer opnieuw na een overstap naar een andere host of na het installeren van een beveiligingsplug-in.

Kunnen de juiste bots je bereiken, dan hebben ze pagina's nodig die het lezen waard zijn, en daar past SEO God Mode op een site op We.Inc: het stelt wekelijks onderwerpen voor op basis van je eigen diensten en schrijft berichten die jij goedkeurt.

Veelgestelde vragen

Verdwijn ik uit de zoekfunctie van ChatGPT als ik GPTBot blokkeer?

Niet volgens OpenAI. GPTBot is de trainingscrawler; de zoekfunctie van ChatGPT gebruikt OAI-SearchBot. De een toelaten en de ander blokkeren is prima.

Haalt het blokkeren van Google-Extended me uit AI Overviews?

Nee. Google zegt dat Google-Extended het gebruik van content voor Gemini-training regelt en geen invloed heeft op Google Search, inclusief AI Overviews, die Googlebot gebruiken.

Is robots.txt genoeg om content privé te houden?

Nee. Het is een verzoek dat nette crawlers volgen. Alles wat echt privé is, heeft een login of wachtwoordbeveiliging nodig, en noindex is het middel om een pagina uit de zoekresultaten te houden.

Gratis beginnen · Geen creditcard nodig

Gerelateerd: Gidsen

Product

Voor wie

Functies

Bronnen

Bedrijf

Sitemap