robots.txt für KI-Bots: Welche Sie erlauben und welche Sie blockieren sollten

Ein praktischer Leitfaden zu den KI-Crawlern, die eine kleine Firmenwebsite besuchen, wofür jeder laut seinem Betreiber da ist, und zu robots.txt-Regeln, die Sie in KI-Suchantworten halten und auf Wunsch vom Training ausschließen.

KI-Firmen schicken inzwischen mehrere verschiedene Crawler, und jeder hat eine andere Aufgabe. Manche sammeln Trainingsdaten. Manche bauen einen Suchindex auf, auf den Antworten verlinken. Manche rufen eine einzelne Seite ab, weil ein Nutzer gefragt hat. Alle mit einer Zeile zu blockieren fühlt sich sicher an, kann ein Unternehmen aber unbemerkt aus KI-Suchantworten entfernen, die echte Kunden schicken.

Wie robots.txt funktioniert

Die robots.txt ist eine einfache Datei im Stammverzeichnis Ihrer Domain. Jede Gruppe beginnt mit einer User-agent-Zeile, die einen Crawler nennt, gefolgt von Allow- oder Disallow-Regeln. Das Format ist in RFC 9309 standardisiert. Es ist eine Bitte, kein Schloss: Seriöse Crawler halten sich daran, aber es schützt keine privaten Inhalte, und Googles Dokumentation weist darauf hin, dass ein Crawling-Verbot eine Seite nicht von selbst aus dem Index entfernt.

Die wichtigsten KI-Crawler und was ihre Betreiber über sie sagen

  • OAI-SearchBot (OpenAI): dient dazu, Websites in den ChatGPT-Suchergebnissen anzuzeigen. Die Crawler-Dokumentation von OpenAI sagt, dass Websites, die ihn blockieren, nicht in den ChatGPT-Suchantworten erscheinen, eventuell aber noch als einfache Navigationslinks.
  • GPTBot (OpenAI): sammelt Inhalte, die zum Training der Modelle von OpenAI genutzt werden können. Ihn zu blockieren ist der dokumentierte Weg, sich bei OpenAI vom Training abzumelden, und das ist unabhängig von OAI-SearchBot.
  • ChatGPT-User (OpenAI): ruft eine Seite ab, wenn die Anfrage einer Person sie braucht. OpenAI weist darauf hin, dass robots.txt-Regeln für diese vom Nutzer ausgelösten Besuche möglicherweise nicht gelten.
  • Google-Extended (Google): kein eigener Crawler, sondern ein Produkt-Token. Wer ihn sperrt, sagt Google, dass Ihre Inhalte nicht für das Training künftiger Gemini-Modelle oder zur Fundierung in einigen anderen KI-Systemen genutzt werden sollen. Laut Google Search Central beeinflusst das weder Aufnahme noch Ranking in der Google-Suche, und AI Overviews werden über Googlebot und die normalen Snippet-Einstellungen gesteuert.
  • PerplexityBot (Perplexity): indexiert Seiten für die Antworten von Perplexity und wird laut deren Dokumentation nicht für das Modelltraining genutzt. Perplexity-User ruft im Auftrag eines Nutzers ab und ignoriert die robots.txt in der Regel.
  • Bingbot (Microsoft): speist Bing, worauf sich Microsoft Copilot stützt. Ihn zu blockieren entfernt Sie aus beidem.
  • ClaudeBot und Claude-SearchBot (Anthropic): Anthropic dokumentiert getrennte Agents für Training und Suche und sagt, dass sie die robots.txt beachten.
  • Applebot und Applebot-Extended (Apple): Applebot treibt Suchfunktionen in Spotlight, Siri und Safari an; mit Applebot-Extended können Sie Apple untersagen, Inhalte zum Training seiner Basismodelle zu nutzen, ohne die Suche zu beeinflussen.

Eine sinnvolle Einstellung für ein lokales Unternehmen

Die meisten kleinen Unternehmen wollen in Antworten gefunden und genannt werden. Eine verbreitete, ausgewogene Einstellung erlaubt Such-Crawler und entscheidet getrennt über das Training. Um zum Beispiel in der ChatGPT-Suche und bei Perplexity zu bleiben, aber das Training bei OpenAI und Google abzulehnen:

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Allow: /

Sitemap: https://www.example.com/sitemap.xml

Ob Sie das Training ablehnen, ist eine geschäftliche Entscheidung. In Trainingsdaten zu sein kann ein Modell mit Ihrem Namen vertrauter machen; eine Ablehnung hält Ihren Text aus künftigen Modellversionen heraus. Keine der beiden Entscheidungen beeinflusst das Ranking in der Google-Suche.

Andere Stellen, an denen Bots blockiert werden

Prüfen Sie neben der robots.txt auch Ihre CDN- und Sicherheitseinstellungen. Manche Hosting-Firewalls und Bot-Management-Funktionen blockieren KI-Crawler standardmäßig, was eine offene robots.txt aushebelt. Nutzen Sie so etwas, suchen Sie nach einer Einstellung für KI-Crawler und stellen Sie sicher, dass die gewünschten Such-Agents erlaubt sind.

Testen Sie Ihre Datei

Öffnen Sie yoursite.com/robots.txt im Browser, um zu prüfen, ob sie lädt. Die Google Search Console hat einen robots.txt-Bericht, der die von Google abgerufene Version und Fehler zeigt. Die Bing Webmaster Tools bieten einen robots.txt-Tester. Prüfen Sie erneut nach einem Hosting-Wechsel oder der Installation eines Sicherheits-Plugins.

Sobald die richtigen Bots Sie erreichen, brauchen sie lesenswerte Seiten, und hier passt SEO God Mode auf einer We.Inc-Website ins Bild: Es schlägt wöchentliche Themen aus Ihren eigenen Leistungen vor und entwirft Beiträge, die Sie freigeben.

Häufige Fragen

Verschwinde ich aus der ChatGPT-Suche, wenn ich GPTBot blockiere?

Laut OpenAI nicht. GPTBot ist der Trainings-Crawler; die ChatGPT-Suche nutzt OAI-SearchBot. Den einen zu erlauben und den anderen zu blockieren ist in Ordnung.

Entfernt mich eine Sperre von Google-Extended aus den AI Overviews?

Nein. Laut Google steuert Google-Extended die Nutzung von Inhalten für das Gemini-Training und beeinflusst die Google-Suche nicht, auch nicht die AI Overviews, die Googlebot nutzen.

Reicht die robots.txt, um Inhalte privat zu halten?

Nein. Sie ist eine Bitte, an die sich gut erzogene Crawler halten. Wirklich Privates braucht ein Login oder einen Passwortschutz, und noindex ist das Werkzeug, um eine Seite aus den Suchergebnissen herauszuhalten.

Kostenlos starten · Keine Kreditkarte nötig

Verwandt: Ratgeber

Produkt

Für wen

Funktionen

Ressourcen

Unternehmen

Sitemap