Esempi di Sitemap.xml e robots.txt, Commentati | We.Inc
Esempi di sitemap.xml, sitemap index e robots.txt da copiare con ogni riga spiegata, i limiti di 50,000 URL e 500 KiB, le regole con wildcard e un mini generatore di sitemap.
Esempi di Sitemap.xml e robots.txt
Una sitemap.xml elenca gli URL che vuoi far scansionare, ognuno in un elemento url con un loc e un lastmod facoltativo, fino a 50,000 URL o 50 MB per file. Un robots.txt nella root del sito dice ai crawler quali percorsi saltare con righe User-agent, Disallow e Allow, e può indicare la sitemap.
Limiti e regole principali
Elemento
Regola
URL per sitemap
Massimo 50,000
Dimensione del file sitemap
Massimo 50 MB non compresso
Formato degli URL nelle sitemap
Completo, per esempio https://example.com/page
Posizione del robots.txt
Root dell'host, per esempio https://example.com/robots.txt
Dimensione del robots.txt letta da Google
500 KiB
Campi supportati da Google nel robots.txt
user-agent, allow, disallow, sitemap
I generatori sputano fuori un file, ma raramente spiegano perché c'è ogni riga o cosa succede quando due regole sono in conflitto. Ogni esempio qui sotto è commentato, e il generatore trasforma un semplice elenco delle tue pagine in una sitemap valida con i caratteri speciali già convertiti per te.
Incolla un URL completo per riga nel generatore e scegli una data lastmod, se ne hai una.
Copia l'XML generato in un file chiamato sitemap.xml nella root del tuo sito.
Scegli l'esempio di robots.txt più vicino alla tua configurazione e modifica i percorsi.
Aggiungi una riga Sitemap al robots.txt e invia la sitemap in Search Console.
Elenca solo URL canonici che restituiscono 200. Redirect, 404 e pagine in noindex dentro una sitemap mandano segnali contrastanti.
Imposta lastmod sulla data in cui il contenuto principale è cambiato davvero. Google lo usa solo quando è costantemente accurato.
Google ignora changefreq e priority, quindi puoi ometterli.
Bloccare una pagina nel robots.txt non la rimuove dalla ricerca. Per tenere una pagina fuori dai risultati, consenti la scansione e aggiungi invece un meta tag robots noindex.
Domande frequenti
Dove va messa la sitemap.xml?
Va bene qualsiasi posizione sullo stesso host, ma la root è il posto abituale perché, secondo il protocollo di sitemaps.org, una sitemap in genere copre solo gli URL nella sua cartella o in quelle sottostanti. Indica ai motori di ricerca dove si trova con una riga Sitemap nel robots.txt o inviandola in Search Console.
Come elenco più di 50,000 URL?
Dividili in più file sitemap ed elenca quei file in una sitemap index. L'indice usa gli elementi sitemapindex e sitemap invece di urlset e url, e può fare riferimento a un massimo di 50,000 sitemap.
Google supporta Crawl-delay o Noindex nel robots.txt?
No. Google legge solo user-agent, allow, disallow e sitemap. Altri crawler possono rispettare Crawl-delay, ma Googlebot lo ignora, e noindex va messo in un meta tag o in un header X-Robots-Tag.
Cosa succede quando sia Allow sia Disallow corrispondono a un URL?
Google sceglie la regola più specifica, cioè quella con il percorso corrispondente più lungo. Se due regole corrispondenti sono ugualmente specifiche, usa quella meno restrittiva, cioè Allow.
Devo convertire i caratteri speciali negli URL della sitemap?
Sì. Una sitemap è XML, quindi una e commerciale va scritta come & e gli altri caratteri riservati come le rispettive entità. Il file deve inoltre essere codificato in UTF-8.
A cosa serve ciascun file
La sitemap è un invito: ecco le pagine che vale la pena scansionare e quando sono cambiate l'ultima volta. È più utile sui siti nuovi, sui siti grandi e sulle pagine raggiunte da pochi link interni.
Il robots.txt è un insieme di istruzioni di scansione, non uno strumento di sicurezza. Chiunque può leggerlo e i bot che si comportano male lo ignorano, quindi non affidarti mai a lui per nascondere aree private. Proteggile con un login.
Come vengono confrontate le regole
Un crawler sceglie il gruppo la cui riga User-agent gli corrisponde in modo più specifico e ignora il resto. Se Googlebot ha un gruppo tutto suo, non leggerà le regole sotto User-agent: *.
I percorsi distinguono maiuscole e minuscole e vengono confrontati dall'inizio. Un asterisco sta per qualsiasi sequenza di caratteri e il simbolo del dollaro ancora la fine dell'URL, quindi Disallow: /*.pdf$ blocca ogni PDF.
Esempi di sitemap
sitemap.xml di base
La dichiarazione xml, l'urlset con il namespace del protocollo e un url per ogni pagina. lastmod usa il formato di data W3C.
Sitemap index per siti grandi
Rimanda alle sitemap figlie. Ogni sitemap figlia rispetta lo stesso limite di 50,000 URL e 50 MB.
Esempi di robots.txt
Consentire tutto e indicare la sitemap
Un Disallow vuoto significa che non viene bloccato nulla. È il file giusto per la maggior parte dei siti di piccole attività.
Negozio online: saltare carrelli, account e combinazioni di filtri
Blocca i pattern di URL che creano duplicati infiniti, lasciando aperte le pagine di prodotti e categorie.
Bloccare un intero sito di staging
Ferma i crawler rispettosi delle regole su una copia di prova. Aggiungi anche una password, perché questo file si limita a chiedere gentilmente.
Wildcard per i tipi di file
Il simbolo del dollaro indica che l'URL finisce lì, quindi /guide.pdf viene bloccato ma /guide.pdf.html no.
Quale regola vince
Come Google confronta alcune regole di esempio
Regole
URL
Risultato
Perché
Allow: /p e Disallow: /
Consentito
Allow: /folder e Disallow: /folder
Consentito
Lunghezza uguale, vince la meno restrittiva
Disallow: /*.php$
Consentito
L'URL non finisce in .php
Disallow: /fish
Consentito
I percorsi distinguono maiuscole e minuscole
Mini generatore di sitemap
Incolla un URL completo per riga e il generatore scrive un urlset valido con i caratteri speciali convertiti.
I tuoi URL, uno per riga
lastmod per tutti (facoltativo)
{n} URL incluso.
{n} URL inclusi.
Saltate {n} righe che non sono URL http o https completi.