Siti JavaScript e crawler IA: riescono a vedere le tue pagine?

Perché un sito che sembra a posto nel browser può apparire vuoto ai crawler IA, cosa dice Google sul rendering di JavaScript, come verificare cosa ricevono i bot e le soluzioni che funzionano per i siti delle piccole imprese.

Molti siti moderni inviano al browser un file HTML quasi vuoto e un pacchetto di JavaScript che costruisce la pagina all'arrivo. Le persone non se ne accorgono mai. I crawler forse sì. Se un bot legge l'HTML e non esegue gli script, la tua pagina di servizio scritta con cura è, per quel bot, un foglio bianco con un logo.

Come la gestisce Google

Le nozioni di base su JavaScript e SEO di Google Search Central spiegano che Googlebot scansiona una pagina, la mette in coda per il rendering in una versione recente di Chromium e poi indicizza il risultato. Quindi Google può vedere i contenuti JavaScript, anche se il rendering può avvenire dopo la prima scansione, e Google consiglia comunque il rendering lato server o il pre-rendering perché è più veloce per gli utenti e per tutti i crawler. Le sue indicazioni avvertono anche che i link devono essere veri tag di ancoraggio con un href per essere seguiti.

Come la gestiscono i crawler IA

Le aziende di IA dicono meno sul rendering. OpenAI documenta OAI-SearchBot e GPTBot, Perplexity documenta PerplexityBot, e nessuna di quelle pagine promette che il crawler esegua JavaScript. L'analisi di Vercel del dicembre 2024 sul traffico dei crawler nella sua rete ha rilevato che nessuno dei principali crawler IA misurati eseguiva il rendering di JavaScript, citando i crawler di OpenAI e Anthropic e PerplexityBot. Ha trovato due eccezioni: Gemini, che usa l'infrastruttura di Googlebot, e Applebot. I crawler cambiano, quindi consideralo un'istantanea, non una promessa.

L'ipotesi sicura: se il testo non è nell'HTML che invia il tuo server, la ricerca di ChatGPT, Perplexity e strumenti simili potrebbero non vederlo.

Verifica cosa riceve un crawler

  1. Apri la pagina e scegli Visualizza sorgente pagina (non Ispeziona, che mostra la pagina dopo l'esecuzione degli script). Cerca una frase del titolo principale. Se c'è, il testo è nell'HTML grezzo.
  2. In Google Search Console usa il Controllo URL e poi Visualizza pagina sottoposta a scansione per vedere l'HTML salvato da Google e uno screenshot del rendering.
  3. Da un terminale, scarica la pagina con una richiesta semplice e leggi cosa torna. Se vedi solo un div principale e tag script, i crawler che non eseguono il rendering non ricevono nulla.
  4. Disattiva JavaScript nelle impostazioni del browser e ricarica. Ciò che resta è più o meno ciò che legge un bot senza rendering.

Soluzioni, dalla più solida alla meno solida

  • Rendering lato server o generazione statica. Il server invia HTML già pronto. Framework come Next.js, Nuxt e Astro lo supportano, e molti strumenti per creare siti producono già pagine statiche.
  • Pre-rendering. Un passaggio di build o un servizio salva un'istantanea HTML completa di ogni pagina. Google lo considera accettabile purché bot e persone ricevano lo stesso contenuto.
  • Metti i dati essenziali nell'HTML iniziale. Se rifare il sito non è possibile, genera almeno sul server nome, servizi, zone, orari e recapiti.

Evita il rendering dinamico che dà ai bot una pagina diversa da quella delle persone. Google descrive il rendering dinamico come una soluzione temporanea, non a lungo termine, e un contenuto diverso tra bot e visitatori sconfina nel cloaking.

Trappole comuni nei siti delle piccole imprese

  • Testo inserito dentro immagini o slider, che nessun crawler legge come testo.
  • Menu costruiti con pulsanti e gestori di clic invece che con link, così le pagine interne non vengono mai scoperte.
  • Recensioni, prezzi o FAQ caricati da un widget di terze parti dopo il caricamento della pagina.
  • Una home page generata sul server mentre le pagine interne no.

Controlla dopo ogni restyling

I problemi di rendering arrivano spesso con un nuovo tema o plugin. Dopo ogni grande modifica, ripeti il controllo del sorgente sulla home page e su due pagine interne.

I siti We.Inc servono le pagine interne come HTML che Google può leggere, e SEO God Mode parte da lì aggiungendo ogni settimana nuove pagine leggibili basate sui tuoi servizi.

Domande frequenti

Googlebot esegue JavaScript?

Sì. Google esegue il rendering delle pagine con una versione recente di Chromium prima di indicizzarle, anche se il rendering può arrivare dopo la prima scansione. Google consiglia comunque il rendering lato server o il pre-rendering quando possibile.

I crawler di ChatGPT e Perplexity eseguono JavaScript?

La loro documentazione non dice che lo facciano, e l'analisi dei crawler di Vercel del 2024 ha rilevato che non eseguivano il rendering di JavaScript. Metti il testo importante nell'HTML che invia il tuo server.

Come vedo ciò che vede un crawler?

Usa Visualizza sorgente pagina nel browser, oppure Controllo URL e Visualizza pagina sottoposta a scansione in Google Search Console. Se il tuo testo manca lì, lo perdono anche i bot che non eseguono il rendering.

Inizia gratis · Nessuna carta di credito richiesta

Correlati: Guide

Prodotto

Per chi è

Funzionalità

Risorse

Azienda

Mappa del sito