JavaScript-websites en AI-crawlers: kunnen ze je pagina's zien?

Waarom een site die er in een browser goed uitziet voor AI-crawlers leeg kan zijn, wat Google zegt over het renderen van JavaScript, hoe je test wat bots binnenkrijgen, en welke oplossingen werken voor sites van kleine bedrijven.

Veel moderne websites sturen de browser een bijna leeg HTML-bestand plus een bundel JavaScript die de pagina bij aankomst opbouwt. Mensen merken daar niets van. Crawlers misschien wel. Leest een bot de HTML en voert hij de scripts niet uit, dan is je zorgvuldig geschreven dienstpagina voor die bot een leeg vel met een logo.

Hoe Google ermee omgaat

De basisuitleg over JavaScript-SEO van Google Search Central zegt dat Googlebot een pagina crawlt, in de wachtrij zet om te renderen in een recente versie van Chromium en daarna het gerenderde resultaat indexeert. Google kan JavaScript-content dus zien, al gebeurt het renderen soms later dan de eerste crawl, en Google raadt nog steeds server-side rendering of pre-rendering aan, omdat dat sneller is voor gebruikers en voor alle crawlers. De richtlijn waarschuwt ook dat links echte ankertags met een href moeten zijn om gevolgd te worden.

Hoe AI-crawlers ermee omgaan

De AI-bedrijven zeggen minder over renderen. OpenAI documenteert OAI-SearchBot en GPTBot, Perplexity documenteert PerplexityBot, en geen van die pagina's belooft dat de crawler JavaScript uitvoert. Een analyse van Vercel uit december 2024 van crawlerverkeer op zijn netwerk vond dat geen van de grote gemeten AI-crawlers JavaScript renderde, met name de crawlers van OpenAI en Anthropic en PerplexityBot. Er waren twee uitzonderingen: Gemini, dat de infrastructuur van Googlebot gebruikt, en Applebot. Crawlers veranderen, dus zie dat als momentopname, niet als belofte.

De veilige aanname: staan de woorden niet in de HTML die je server verstuurt, dan zien ChatGPT search, Perplexity en vergelijkbare tools ze mogelijk niet.

Test wat een crawler binnenkrijgt

  1. Open je pagina en kies Paginabron weergeven (niet Inspecteren, dat de pagina toont nadat scripts zijn uitgevoerd). Zoek naar een zin uit je hoofdkop. Staat die erin, dan zit de tekst in de ruwe HTML.
  2. Gebruik in Google Search Console URL-inspectie en daarna Gecrawlde pagina bekijken om de HTML te zien die Google heeft opgeslagen en een schermafbeelding van de weergave.
  3. Haal de pagina vanuit een terminal op met een gewoon verzoek en lees wat terugkomt. Zie je alleen een root-div en scripttags, dan krijgen crawlers die niet renderen niets.
  4. Zet JavaScript uit in de instellingen van je browser en laad de pagina opnieuw. Wat overblijft, is ongeveer wat een bot leest die niet rendert.

Oplossingen, van meest naar minst robuust

  • Server-side rendering of statische generatie. De server stuurt kant-en-klare HTML. Frameworks zoals Next.js, Nuxt en Astro ondersteunen dit, en veel sitebouwers maken al statische pagina's.
  • Pre-rendering. Een buildstap of dienst slaat een volledige HTML-momentopname van elke pagina op. Google vindt dat acceptabel zolang bots en mensen dezelfde content krijgen.
  • Zet cruciale feiten in de eerste HTML. Is ombouwen niet mogelijk, render dan op zijn minst naam, diensten, gebieden, openingstijden en contactgegevens op de server.

Vermijd dynamische rendering die bots een andere pagina geeft dan mensen. Google noemt dynamische rendering een noodoplossing, geen oplossing voor de lange termijn, en content die verschilt tussen bots en bezoekers gaat over in cloaking.

Veelvoorkomende valkuilen op sites van kleine bedrijven

  • Tekst in afbeeldingen of sliders, die geen enkele crawler als tekst leest.
  • Menu's opgebouwd uit knoppen met klikacties in plaats van links, waardoor binnenpagina's nooit ontdekt worden.
  • Reviews, prijzen of FAQ's die na het laden van de pagina uit een widget van derden komen.
  • Een homepage die op de server rendert terwijl binnenpagina's dat niet doen.

Controleer na elk nieuw ontwerp

Renderproblemen komen vaak mee met een nieuw thema of een nieuwe plug-in. Herhaal na elke grote wijziging de controle van de paginabron op de homepage en twee binnenpagina's.

Sites op We.Inc leveren hun binnenpagina's als HTML die Google kan lezen, en SEO God Mode bouwt daarop voort door elke week nieuwe, leesbare pagina's toe te voegen op basis van je eigen diensten.

Veelgestelde vragen

Voert Googlebot JavaScript uit?

Ja. Google rendert pagina's met een recente versie van Chromium voordat het ze indexeert, al kan het renderen achterlopen op de eerste crawl. Google raadt waar mogelijk nog steeds server-side rendering of pre-rendering aan.

Voeren de crawlers van ChatGPT en Perplexity JavaScript uit?

Hun documentatie zegt niet dat ze dat doen, en de crawleranalyse van Vercel uit 2024 vond dat ze geen JavaScript renderden. Zet belangrijke tekst in de HTML die je server verstuurt.

Hoe zie ik wat een crawler ziet?

Gebruik Paginabron weergeven in je browser, of URL-inspectie en Gecrawlde pagina bekijken in Google Search Console. Ontbreken je woorden daar, dan missen bots die niet renderen ze ook.

Gratis beginnen · Geen creditcard nodig

Gerelateerd: Gidsen

Product

Voor wie

Functies

Bronnen

Bedrijf

Sitemap