JavaScript-Websites und KI-Crawler: Können sie Ihre Seiten sehen?

Warum eine Website, die im Browser gut aussieht, für KI-Crawler leer wirken kann, was Google zum Rendern von JavaScript sagt, wie Sie testen, was Bots erhalten, und welche Lösungen für Websites kleiner Unternehmen funktionieren.

Viele moderne Websites schicken dem Browser eine fast leere HTML-Datei und ein Paket JavaScript, das die Seite beim Laden aufbaut. Menschen merken das nie. Crawler vielleicht schon. Liest ein Bot das HTML und führt die Skripte nicht aus, ist Ihre sorgfältig geschriebene Leistungsseite für diesen Bot ein leeres Blatt mit Logo.

Wie Google damit umgeht

Die Grundlagen zu JavaScript-SEO von Google Search Central erklären, dass Googlebot eine Seite crawlt, sie zum Rendern in einer aktuellen Chromium-Version einreiht und dann das gerenderte Ergebnis indexiert. Google kann JavaScript-Inhalte also sehen, wobei das Rendern später als das erste Crawlen passieren kann, und Google empfiehlt weiterhin serverseitiges Rendern oder Vorab-Rendern, weil es für Nutzer und alle Crawler schneller ist. Die Hinweise warnen auch, dass Links echte Anker-Tags mit href sein müssen, um verfolgt zu werden.

Wie KI-Crawler damit umgehen

Die KI-Firmen sagen weniger zum Rendern. OpenAI dokumentiert OAI-SearchBot und GPTBot, Perplexity dokumentiert PerplexityBot, und keine dieser Seiten verspricht, dass der Crawler JavaScript ausführt. Eine Analyse von Vercel vom Dezember 2024 zum Crawler-Verkehr im eigenen Netzwerk ergab, dass keiner der gemessenen großen KI-Crawler JavaScript renderte, genannt wurden die Crawler von OpenAI und Anthropic sowie PerplexityBot. Sie fand zwei Ausnahmen: Gemini, das die Infrastruktur von Googlebot nutzt, und Applebot. Crawler ändern sich, betrachten Sie das also als Momentaufnahme, nicht als Zusage.

Die sichere Annahme: Stehen die Worte nicht im HTML, das Ihr Server sendet, sehen die ChatGPT-Suche, Perplexity und ähnliche Werkzeuge sie womöglich nicht.

Testen Sie, was ein Crawler erhält

  1. Öffnen Sie Ihre Seite und wählen Sie Seitenquelltext anzeigen (nicht Untersuchen, das die Seite nach dem Ausführen der Skripte zeigt). Suchen Sie nach einem Satz aus Ihrer Hauptüberschrift. Ist er da, steht der Text im rohen HTML.
  2. Nutzen Sie in der Google Search Console die URL-Prüfung und dann Gecrawlte Seite anzeigen, um das gespeicherte HTML und einen Screenshot der Darstellung zu sehen.
  3. Rufen Sie die Seite im Terminal mit einer einfachen Anfrage ab und lesen Sie, was zurückkommt. Sehen Sie nur ein Root-Div und Script-Tags, bekommen Crawler, die nicht rendern, nichts.
  4. Schalten Sie JavaScript in den Browsereinstellungen aus und laden Sie neu. Was übrig bleibt, ist ungefähr das, was ein nicht rendernder Bot liest.

Lösungen, von der robustesten zur schwächsten

  • Serverseitiges Rendern oder statische Generierung. Der Server sendet fertiges HTML. Frameworks wie Next.js, Nuxt und Astro unterstützen das, und viele Website-Baukästen erzeugen bereits statische Seiten.
  • Vorab-Rendern. Ein Build-Schritt oder Dienst speichert von jeder Seite eine vollständige HTML-Momentaufnahme. Google akzeptiert das, solange Bots und Menschen denselben Inhalt bekommen.
  • Wichtige Fakten ins initiale HTML. Ist ein Umbau nicht möglich, rendern Sie zumindest Name, Leistungen, Gebiete, Öffnungszeiten und Kontaktdaten auf dem Server.

Vermeiden Sie dynamisches Rendern, das Bots eine andere Seite zeigt als Menschen. Google beschreibt dynamisches Rendern als Notlösung, nicht als langfristige Lösung, und Inhalte, die sich zwischen Bots und Besuchern unterscheiden, sind Cloaking.

Häufige Fallen auf Websites kleiner Unternehmen

  • Text in Bildern oder Slidern, den kein Crawler als Text liest.
  • Menüs aus Schaltflächen mit Klick-Handlern statt Links, sodass Unterseiten nie entdeckt werden.
  • Bewertungen, Preise oder FAQs, die nach dem Laden der Seite aus einem Widget eines Drittanbieters kommen.
  • Eine Startseite, die auf dem Server gerendert wird, während Unterseiten es nicht werden.

Prüfen Sie nach jedem Redesign

Probleme beim Rendern kommen oft mit einem neuen Theme oder Plugin. Wiederholen Sie nach jeder großen Änderung die Prüfung des Seitenquelltexts auf der Startseite und zwei Unterseiten.

We.Inc-Websites liefern ihre Unterseiten als HTML aus, das Google lesen kann, und SEO God Mode baut darauf auf, indem es jede Woche neue, lesbare Seiten aus Ihren eigenen Leistungen hinzufügt.

Häufige Fragen

Führt Googlebot JavaScript aus?

Ja. Google rendert Seiten vor dem Indexieren mit einem aktuellen Chromium, wobei das Rendern dem ersten Crawlen hinterherhinken kann. Google empfiehlt dennoch, wo möglich, serverseitiges Rendern oder Vorab-Rendern.

Führen die Crawler von ChatGPT und Perplexity JavaScript aus?

Ihre Dokumentation sagt nicht, dass sie es tun, und die Crawler-Analyse von Vercel aus dem Jahr 2024 ergab, dass sie JavaScript nicht renderten. Setzen Sie wichtigen Text in das HTML, das Ihr Server sendet.

Wie sehe ich, was ein Crawler sieht?

Nutzen Sie Seitenquelltext anzeigen im Browser oder die URL-Prüfung und Gecrawlte Seite anzeigen in der Google Search Console. Fehlen Ihre Worte dort, fehlen sie auch nicht rendernden Bots.

Kostenlos starten · Keine Kreditkarte nötig

Verwandt: Ratgeber

Produkt

Für wen

Funktionen

Ressourcen

Unternehmen

Sitemap