Cosa fa davvero User-agent: * con Disallow: /, perché le pagine bloccate possono comparire su Google, perché noindex in robots.txt è ignorato, e un verificatore di regole.
Due righe, User-agent: * seguita da Disallow: /, chiedono a ogni crawler educato di smettere di scaricare qualsiasi pagina di quell'host. Non rimuovono le pagine dalla ricerca: Google dice che un indirizzo bloccato può comunque essere elencato senza descrizione quando altri siti lo collegano. Per tenere fuori le pagine, usa noindex o una password.
Metodi per tenere lontani crawler o utenti della ricerca, a confronto
robots.txt è un file di testo semplice nella radice del tuo dominio che dice ai crawler, i programmi che i motori di ricerca mandano a leggere le pagine, quali percorsi possono scaricare. Un file disallow all è comune sulle copie di staging e sui siti nuovi, ed è anche la riga che più spesso resta lì per sbaglio al lancio. Prova le tue regole nel verificatore qui sotto.
No. Impedisce a Googlebot di leggere le pagine, ma la documentazione di Google dice che un URL bloccato può comunque essere indicizzato e mostrato senza snippet. Per togliere le pagine dai risultati, lascia che Google le scansioni e servi invece noindex.
La pagina di Google sul blocco dell'indicizzazione afferma che una regola noindex nel file robots.txt non è supportata. Metti noindex in un meta tag robots nella head della pagina, o in un header di risposta X-Robots-Tag per file come i PDF.
No. La specifica di Google su robots.txt elenca user-agent, allow, disallow e sitemap come i campi che legge e indica crawl-delay come non supportato. Il blog per webmaster di Bing dice che Bingbot rispetta invece Crawl-delay, con un intervallo da uno a trenta secondi.
L'RFC 9309 dice che un crawler deve presumere un blocco totale quando il file non è raggiungibile a causa di un errore del server. Google smette di scansionare per le prime 12 ore e poi torna all'ultima copia valida, quindi un file guasto può sospendere la scansione.
In genere Google tiene il file in cache fino a 24 ore, e l'RFC 9309 dice che i crawler non dovrebbero usare una copia in cache più a lungo. Calcola fino a un giorno prima che la rimozione di un blocco venga notata.
Ogni file qui sotto va nella radice di un host, per esempio https://staging.example.com/robots.txt.
Il classico file per lo staging. Rimuovilo prima del lancio.
Un valore Disallow vuoto non blocca nulla. Aggiungi l'indirizzo della tua sitemap così i crawler trovano ogni pagina.
Il percorso Allow più lungo batte il percorso Disallow di un solo carattere.
Lascia la pagina scansionabile e aggiungi questo tag nella sua head. La forma con header di risposta funziona per PDF e immagini.
Il tuo robots.txt
Nome del crawler
Percorso da testare
Risultato
Consentito: {p} può essere scansionato.
Bloccato: {p} non può essere scansionato.
Gruppo usato: quello che nomina {v}.
Gruppo usato: User-agent: * (nessun gruppo nomina questo crawler).
Nessun gruppo si applica, quindi tutto è consentito.
Riga decisiva {n}: {v}
Nessuna regola corrisponde a questo percorso, quindi è consentito.
Funziona nel tuo browser sul testo che incolli, seguendo l'RFC 9309. Nulla viene scaricato o caricato.
Inizia gratis · Nessuna carta di credito richiesta