Der Noindex-Tag: Seiten richtig aus Google heraushalten
Noindex-Tag
Noindex-Tag: Meta Robots vs. X-Robots-Tag, mit Generator | We.Inc
So funktioniert der Noindex-Tag, wann du den Meta-Robots-Tag oder den X-Robots-Tag-Header nutzt, warum robots.txt noindex aushebeln kann, und ein Generator für die genauen Zeilen zum Einfügen.
Die Regel noindex weist Suchmaschinen an, eine Seite nicht in ihren Ergebnissen anzuzeigen. Setze <meta name="robots" content="noindex"> in den head-Bereich der Seite oder sende für Dateien wie PDFs einen Header X-Robots-Tag: noindex. Die Seite muss crawlbar bleiben: Wenn robots.txt sie blockiert, sieht Google die Regel nie.
Meta-Robots-Tag oder X-Robots-Tag-Header
Meta-Robots-Tag
X-Robots-Tag-Header
Wo er hingehört
In den <head> einer HTML-Seite
In die HTTP-Antwort des Servers
Funktioniert für
HTML-Seiten
Jede Datei: PDFs, Bilder, HTML
Wer ihn hinzufügen kann
Alle, die die Seite bearbeiten können
Braucht Server- oder Hoster-Einstellungen
Beispiel
<meta name="robots" content="noindex">
X-Robots-Tag: noindex
Unternehmenswebsites brauchen noindex meist für einige wenige Seiten: Danke-Seiten nach einem Formular, interne Suchergebnisse, Staging-Kopien und Dateien zum Herunterladen, die nur für Kunden gedacht sind. Hake unten die gewünschten Regeln an und kopiere den Meta-Tag, den Header oder die Apache- und Nginx-Zeilen, die ihn senden.
Wähle, ob die Regel für alle Suchmaschinen oder nur für Google gilt.
Hake die Regeln an, die du brauchst. Noindex hält die Seite aus den Ergebnissen heraus, die anderen schränken Links, Snippets und Bilder ein.
Kopiere den Meta-Tag in den head-Bereich der Seite oder die Serverzeilen in die Konfiguration deines Hosters.
Prüfe, dass robots.txt die Seite nicht blockiert, und bestätige dann mit dem URL-Prüftool, dass Google die Regel sieht.
Entferne die Seite aus deiner XML-Sitemap, wenn du sie auf noindex setzt. Eine Sitemap sagt bitte indexieren, noindex sagt nicht indexieren.
Website-Baukästen verstecken noindex oft hinter einer Einstellung wie vor Suchmaschinen verbergen oder ähnlich. Schau dort nach, bevor du Code bearbeitest.
Prüfe Staging- und Vorschau-Websites. Ein nach dem Launch vergessenes noindex ist ein häufiger Grund, warum eine ganze neue Website nie erscheint.
Wenn eine Seite privat sein muss, nutze ein Passwort. Noindex verbirgt sie in den Ergebnissen, nicht vor Menschen, die den Link haben.
Häufige Fragen
Warum ist meine Seite mit noindex noch bei Google?
Entweder hat Google sie noch nicht erneut gecrawlt, oder robots.txt blockiert sie. Laut der Dokumentation von Google darf die Seite nicht durch robots.txt blockiert sein, damit noindex wirkt, weil eine blockierte Seite nie abgerufen und die Regel nie gelesen wird.
Was ist der Unterschied zwischen noindex und nofollow?
Noindex hält die Seite selbst aus den Ergebnissen heraus. Nofollow bittet Crawler, den Links auf der Seite nicht zu folgen. Die Regel none ist die Kurzform für beides zusammen.
Ist beim Noindex-Tag die Groß- und Kleinschreibung wichtig?
Nein. Laut der Dokumentation von Google zum Robots-Meta-Tag sind Header, Name des User-Agents und die Werte nicht von der Groß- und Kleinschreibung abhängig.
Respektieren andere Suchmaschinen noindex?
Google unterstützt es vollständig. Die Dokumentation weist darauf hin, dass manche andere Suchmaschinen die Regel anders auslegen können, eine Seite könnte also anderswo trotzdem erscheinen.
Was passiert, wenn sich zwei Regeln widersprechen?
Google wendet die restriktivere an. Das Beispiel von Google: Hat eine Seite sowohl max-snippet:50 als auch nosnippet, gewinnt nosnippet.
Noindex und robots.txt erfüllen unterschiedliche Aufgaben
robots.txt steuert das Crawling: ob ein Bot eine Seite überhaupt abrufen darf. Noindex steuert die Indexierung: ob eine abgerufene Seite in den Ergebnissen erscheinen darf. Beides auf einer Seite zu kombinieren geht nach hinten los, weil die Sperre Google daran hindert, das noindex zu lesen.
Die funktionierende Reihenfolge: Crawling erlauben, noindex hinzufügen, warten, bis die Seite herausfällt, und sie erst dann in robots.txt blockieren, wenn du weiterhin Crawl-Besuche sparen willst.
Einen einzelnen Crawler ansprechen
Ersetze robots im name-Attribut durch googlebot, um nur Google anzusprechen. In der Header-Form setzt du den Namen des Crawlers und einen Doppelpunkt vor die Regeln, zum Beispiel X-Robots-Tag: googlebot: nofollow.
Noindex in einer React- oder Next.js-Seite
Frameworks rendern denselben Meta-Tag. Im Next.js App Router hat das metadata-Objekt ein robots-Feld.
Metadaten im Next.js App Router
Wird aus einer page- oder layout-Datei exportiert, Next.js schreibt den Robots-Meta-Tag in den head-Bereich.
Noindex-Snippet-Generator
Welche Crawler
Alle Suchmaschinen (robots)
Nur Google (googlebot)
Regeln
Links auf dieser Seite nicht folgen
Kein Text-Snippet und keine Videovorschau
Bilder auf dieser Seite nicht indexieren
In den Ergebnissen keine Übersetzung anbieten
Ab diesem Datum nicht mehr anzeigen (optional)
HTTP-Antwort-Header
Apache (.htaccess), für PDF-Dateien
Nginx, für PDF-Dateien
Die Serverbeispiele treffen auf PDF-Dateien zu, ändere das Muster passend zu den Dateien, die du brauchst.