robots.txt Disallow All: was es blockiert und was nicht

robots.txt Disallow All

robots.txt Disallow All: was es blockiert und was nicht | We.Inc

Was User-agent: * mit Disallow: / wirklich bewirkt, warum gesperrte Seiten trotzdem bei Google erscheinen können, warum noindex in robots.txt ignoriert wird, plus ein Regel-Matcher.

Zwei Zeilen, User-agent: * gefolgt von Disallow: /, bitten jeden höflichen Crawler, keine Seite auf diesem Host mehr abzurufen. Sie entfernen keine Seiten aus der Suche: Laut Google kann eine gesperrte Adresse trotzdem ohne Beschreibung gelistet werden, wenn andere Websites darauf verlinken. Um Seiten herauszuhalten, nutze noindex oder ein Passwort.

Wege, Crawler oder Suchende fernzuhalten, im Vergleich

Methode
Stoppt das Crawlen
Hält die Seite aus den Ergebnissen

robots.txt Disallow: /
Ja, bei Crawlern, die sich daran halten
Nein, die bloße Adresse kann weiter erscheinen

noindex-Meta-Tag oder X-Robots-Tag-Header
Nein, die Seite muss crawlbar bleiben
Ja, sobald Google sie erneut crawlt

Passwort oder Login
Ja, Crawler bekommen keinen Inhalt
Ja

noindex-Zeile in der robots.txt
Nein
Nein, Google unterstützt das nicht

robots.txt ist eine reine Textdatei im Stammverzeichnis deiner Domain, die Crawlern, also den Programmen, die Suchmaschinen zum Lesen von Seiten schicken, sagt, welche Pfade sie abrufen dürfen. Eine Disallow-All-Datei ist auf Staging-Kopien und neuen Websites üblich, und sie ist auch die Zeile, die beim Launch am häufigsten versehentlich stehen bleibt. Teste deine eigenen Regeln im Matcher unten.

Füge den vollständigen Inhalt deiner robots.txt in den Matcher ein.
Gib einen Crawler-Namen wie Googlebot oder Bingbot und einen Pfad ein, der mit einem Schrägstrich beginnt.
Lies ab, welche Regelgruppe angewendet wurde und welche Zeile das Ergebnis entschieden hat.
Ändere eine Regel, sieh zu, wie sich das Ergebnis aktualisiert, und kopiere die korrigierte Datei dann zurück auf deinen Server.

Durchsuche deine Live-robots.txt vor dem Launch-Tag nach einer einzelnen Zeile Disallow: /. Sie zu vergessen, ist ein leiser Weg, den gesamten Suchtraffic zu verlieren.
Ein Crawler, der eine Gruppe mit seinem Namen findet, ignoriert die *-Gruppe komplett. Wiederhole gemeinsame Regeln also in den benannten Gruppen.
Eine leere Zeile Disallow: bedeutet, dass nichts gesperrt ist. Sie ist das Gegenteil von Disallow: /.
Für eine Staging-Website ist ein Passwort sicherer als robots.txt, denn rüpelhafte Bots ignorieren die Datei, und die Adressen können trotzdem in die Ergebnisse gelangen.
Jede Subdomain und jedes Protokoll braucht eine eigene Datei, denn die Regeln gelten nur für den Host, auf dem die Datei liegt.

Häufige Fragen

Entfernt Disallow: / meine Website aus Google?

Nein. Es hindert den Googlebot daran, Seiten zu lesen, aber laut Google-Dokumentation kann eine gesperrte URL trotzdem indexiert und ohne Snippet angezeigt werden. Um Seiten aus den Ergebnissen zu entfernen, lass Google sie crawlen und liefere stattdessen noindex aus.

Kann ich noindex in die robots.txt schreiben?

Googles Seite zum Blockieren der Indexierung sagt, dass eine noindex-Regel in der robots.txt nicht unterstützt wird. Setze noindex in ein robots-Meta-Tag im Head der Seite oder bei Dateien wie PDFs in einen X-Robots-Tag-Response-Header.

Hält sich Google an Crawl-delay?

Nein. Googles robots.txt-Spezifikation nennt user-agent, allow, disallow und sitemap als die Felder, die gelesen werden, und führt crawl-delay als nicht unterstützt. Laut Bings Webmaster-Blog beachtet Bingbot Crawl-delay dagegen, mit einem Fenster von einer bis dreißig Sekunden.

Was passiert, wenn die robots.txt einen Serverfehler zurückgibt?

Laut RFC 9309 muss ein Crawler von einer vollständigen Sperre ausgehen, wenn die Datei wegen eines Serverfehlers nicht erreichbar ist. Google stoppt das Crawlen für die ersten 12 Stunden und greift dann auf seine letzte funktionierende Kopie zurück. Eine kaputte Datei kann das Crawlen also pausieren.

Wie schnell wirkt eine Änderung an der robots.txt?

Google speichert die Datei in der Regel bis zu 24 Stunden im Cache, und laut RFC 9309 sollten Crawler eine Kopie nicht länger nutzen. Rechne mit bis zu einem Tag, bis eine entfernte Sperre bemerkt wird.

Wie ein Crawler deine Regeln liest

Zuerst wählt der Crawler eine Gruppe. Er sucht eine User-agent-Zeile mit seinem Namen und greift nur dann auf die Gruppe mit User-agent: * zurück, wenn keine passt. Innerhalb dieser Gruppe gewinnt die Regel mit dem längsten passenden Pfad. Sind eine allow- und eine disallow-Regel gleich lang, soll laut RFC 9309 die allow-Regel gelten.
Deshalb öffnet Disallow: / plus Allow: /public/ trotzdem den Ordner public: Der allow-Pfad ist länger und damit spezifischer.

Staging- und Pre-Launch-Websites

Eine Entwicklungskopie unter einer Staging-Adresse kann in der Suche landen, wenn jemand darauf verlinkt. Ein Login oder HTTP-Authentifizierung stoppt sowohl Crawlen als auch Indexieren. Wenn du nur robots.txt nutzen kannst, sei beim Launch sorgfältig: Lösche die Sperre und beantrage dann in der Search Console die Indexierung der Startseite.
Wenn Staging-Seiten bereits in den Ergebnissen auftauchen, entferne die Sperre in der robots.txt eine Weile, damit Google sie crawlen und ein noindex-Tag sehen kann, oder schütze sie mit einem Passwort.

Rezepte zum Kopieren

Jede Datei unten gehört ins Stammverzeichnis eines Hosts, zum Beispiel https://staging.example.com/robots.txt.

Jeden Crawler von jedem Pfad aussperren

Die klassische Staging-Datei. Vor dem Launch entfernen.

Alles erlauben

Ein leerer Disallow-Wert sperrt nichts. Füge deine Sitemap-Adresse hinzu, damit Crawler jede Seite finden.

Alle aussperren außer einem Ordner

Der längere Allow-Pfad schlägt den einstelligen Disallow-Pfad.

Eine Seite stattdessen aus den Ergebnissen halten

Lass die Seite crawlbar und füge dieses Tag in ihren Head ein. Die Variante als Response-Header funktioniert für PDFs und Bilder.

Disallow-All-Matcher

Deine robots.txt

Crawler-Name

Zu testender Pfad

Ergebnis

Erlaubt: {p} darf gecrawlt werden.

Gesperrt: {p} darf nicht gecrawlt werden.

Verwendete Gruppe: die, die {v} nennt.

Verwendete Gruppe: User-agent: * (keine Gruppe nennt diesen Crawler).

Keine Gruppe greift, also ist alles erlaubt.

Entscheidende Zeile {n}: {v}

Keine Regel passt auf diesen Pfad, also ist er erlaubt.

Läuft in deinem Browser mit dem eingefügten Text, gemäß RFC 9309. Nichts wird abgerufen oder hochgeladen.

robots.txt Disallow All: was es blockiert und was nicht