Il tag noindex: escludere una pagina da Google nel modo giusto
Tag noindex
Tag noindex: meta robots o X-Robots-Tag, con generatore | We.Inc
Come funziona il tag noindex, quando usare il tag meta robots o l'header X-Robots-Tag, perché robots.txt può impedire a noindex di funzionare e un generatore delle righe esatte da incollare.
La regola noindex dice ai motori di ricerca di non mostrare una pagina nei loro risultati. Metti <meta name="robots" content="noindex"> nella head della pagina, oppure invia un header X-Robots-Tag: noindex per file come i PDF. La pagina deve restare scansionabile: se robots.txt la blocca, Google non vede mai la regola.
Tag meta robots o header X-Robots-Tag
Tag meta robots
Header X-Robots-Tag
Dove va
Dentro <head> di una pagina HTML
Nella risposta HTTP del server
Funziona per
Pagine HTML
Qualsiasi file: PDF, immagini, HTML
Chi può aggiungerlo
Chiunque possa modificare la pagina
Servono le impostazioni del server o dell'hosting
Esempio
<meta name="robots" content="noindex">
X-Robots-Tag: noindex
I siti aziendali di solito hanno bisogno di noindex per poche pagine: le pagine di ringraziamento dopo un modulo, i risultati della ricerca interna, le copie di staging e i file scaricabili destinati solo ai clienti. Spunta qui sotto le regole che vuoi e copia il meta tag, l'header o le righe Apache e Nginx che lo inviano.
Scegli se la regola vale per tutti i motori di ricerca o solo per Google.
Spunta le regole che ti servono. Noindex tiene la pagina fuori dai risultati; le altre limitano link, snippet e immagini.
Copia il meta tag nella head della pagina, oppure le righe per il server nella configurazione del tuo hosting.
Controlla che robots.txt non blocchi la pagina, poi usa Controllo URL per confermare che Google vede la regola.
Quando metti noindex a una pagina, toglila dalla sitemap XML. Una sitemap dice per favore indicizza; noindex dice non farlo.
I website builder spesso nascondono noindex dietro un'impostazione chiamata nascondi dai motori di ricerca o simile. Guarda lì prima di modificare il codice.
Controlla i siti di staging e di anteprima. Un noindex lasciato attivo dopo il lancio è un motivo comune per cui un intero sito nuovo non compare mai.
Se una pagina deve essere privata, usa una password. Noindex la nasconde dai risultati, non da chi ha il link.
Domande frequenti
Perché la mia pagina con noindex è ancora su Google?
O Google non l'ha ancora scansionata di nuovo, o robots.txt la blocca. La documentazione di Google dice che la pagina non deve essere bloccata da robots.txt perché noindex funzioni, perché una pagina bloccata non viene mai scaricata e la regola non viene mai letta.
Qual è la differenza tra noindex e nofollow?
Noindex tiene la pagina stessa fuori dai risultati. Nofollow chiede ai crawler di non seguire i link presenti nella pagina. La regola none è una scorciatoia per entrambe insieme.
Il tag noindex distingue tra maiuscole e minuscole?
No. La documentazione di Google sul meta tag robots dice che l'header, il nome dello user agent e i valori non distinguono tra maiuscole e minuscole.
Gli altri motori di ricerca rispettano noindex?
Google lo supporta pienamente. La sua documentazione nota che alcuni altri motori di ricerca potrebbero interpretare la regola in modo diverso, quindi una pagina potrebbe comunque comparire altrove.
Cosa succede se due regole sono in conflitto?
Google applica la più restrittiva. Il suo esempio: se una pagina ha sia max-snippet:50 sia nosnippet, vince nosnippet.
Noindex e robots.txt fanno lavori diversi
robots.txt controlla la scansione: se un bot può scaricare una pagina o no. Noindex controlla l'indicizzazione: se una pagina scaricata può comparire nei risultati. Combinarli sulla stessa pagina è controproducente, perché il blocco impedisce a Google di leggere il noindex.
L'ordine che funziona è consentire la scansione, aggiungere noindex, aspettare che la pagina esca dai risultati, e solo dopo bloccarla in robots.txt se vuoi ancora risparmiare visite di scansione.
Rivolgersi a un solo crawler
Sostituisci robots con googlebot nell'attributo name per rivolgerti solo a Google. Nella forma header, metti il nome del crawler e due punti prima delle regole, per esempio X-Robots-Tag: googlebot: nofollow.
Noindex in una pagina React o Next.js
I framework generano lo stesso meta tag. Nell'App Router di Next.js, l'oggetto metadata ha un campo robots.
Metadata dell'App Router di Next.js
Esportato da un file page o layout; Next.js scrive il meta tag robots nella head.
Generatore di snippet noindex
Quali crawler
Tutti i motori di ricerca (robots)
Solo Google (googlebot)
Regole
Non seguire i link di questa pagina
Nessuno snippet di testo né anteprima video
Non indicizzare le immagini di questa pagina
Non offrire una traduzione nei risultati
Smetti di mostrarla dopo questa data (facoltativo)
Header della risposta HTTP
Apache (.htaccess), per i file PDF
Nginx, per i file PDF
Gli esempi per il server riguardano i file PDF; cambia lo schema per far corrispondere i file che ti servono.