robots.txt di WordPress: regole predefinite, modifica ed esempi sicuri
robots.txt di WordPress
robots.txt di WordPress: regole predefinite ed esempi sicuri | We.Inc
Dove WordPress crea il suo robots.txt virtuale, le righe predefinite esatte stampate dal core, come sostituirlo con un file reale o un filtro, e un generatore di file sicuro.
Per impostazione predefinita WordPress non ha un file robots.txt sul disco. Quando qualcuno richiede /robots.txt, il core ne genera uno al volo: User-agent: *, Disallow: /wp-admin/, Allow: /wp-admin/admin-ajax.php, più una riga Sitemap sui siti pubblici dalla versione 5.5. Caricare un vero robots.txt nella root del sito sostituisce quella versione virtuale.
Cosa stampa il core di WordPress su /robots.txt
Riga
Da dove viene
Perché
User-agent: *
do_robots()
Le regole valgono per ogni crawler
Disallow: /wp-admin/
do_robots(), path of admin_url()
Tiene i crawler fuori dalla bacheca
Allow: /wp-admin/admin-ajax.php
do_robots()
Temi e plugin chiamano questo file dalle pagine pubbliche
Sitemap: .../wp-sitemap.xml
WP_Sitemaps::add_robots() (5.5+)
Indica ai crawler l'indice della sitemap del core; solo sui siti pubblici
Dato che il file predefinito è generato dal codice, non lo troverai con un client FTP né nel file manager del tuo hosting, cosa che confonde molti proprietari di siti. Puoi modificarlo in tre modi: caricare un file reale, lasciarlo modificare a un plugin SEO o aggiungere un piccolo filtro nel codice. Crea una versione sicura con il generatore qui sotto.
Apri tuosito.com/robots.txt in un browser per vedere cosa viene servito in questo momento.
Scegli nel generatore le opzioni adatte al tuo sito e inserisci l'indirizzo della tua sitemap.
Controlla i percorsi di prova qui sotto: CSS, JavaScript e uploads devono risultare tutti consentiti.
Salva il risultato come robots.txt nella cartella che contiene wp-config.php, oppure incollalo nell'editor del tuo plugin SEO.
Non bloccare mai /wp-content/ o /wp-includes/. Lì si trovano fogli di stile, script e immagini del tuo tema, e Google ne ha bisogno per vedere la pagina come la vedono i visitatori.
Se usi un plugin SEO che scrive la propria sitemap, metti nel file l'indirizzo di quella sitemap invece di quella del core.
Un file reale ha la precedenza su tutto, comprese le modifiche dei plugin che passano dal file virtuale, quindi rimuovi un vecchio file caricato prima di usare l'editor di un plugin.
Non cercare di nascondere pagine private con robots.txt. Il file è pubblico ed elenca esattamente i percorsi che volevi nascondere.
Domande frequenti
Dove si trova il file robots.txt in WordPress?
Di solito da nessuna parte. La funzione do_robots scrive la risposta ogni volta che viene richiesto /robots.txt. C'è un file da modificare solo se tu o un plugin avete caricato un vero robots.txt nella cartella principale.
L'opzione Scoraggia i motori di ricerca dall'indicizzare questo sito modifica robots.txt?
Non da WordPress 5.3. L'articolo sulle Impostazioni di lettura dice che ora l'opzione aggiunge un meta tag robots con noindex,nofollow nell'head di ogni pagina. Fino alla 5.2 faceva inviare a robots.txt Disallow: /.
Come modifico robots.txt senza un plugin?
Carica un file di testo semplice chiamato robots.txt nella root del sito, oppure aggancia il filtro robots_txt in un piccolo plugin o nel tuo tema child. Il filtro riceve il testo generato e un flag che indica se il sito è pubblico.
Perché il mio robots.txt mostra qualcosa di diverso dalle impostazioni del plugin?
L'articolo sulle Impostazioni di lettura precisa che il comportamento integrato funziona solo quando WordPress è installato nella root del sito e non esiste un robots.txt. Un file fisico, una regola a livello di hosting o un livello di cache possono servire qualcos'altro.
Devo davvero bloccare /wp-admin/?
Il file predefinito lo fa già, e va bene così: la bacheca non ha nulla da posizionare. Mantieni la riga Allow per admin-ajax.php, così le funzioni pubbliche che lo chiamano non vengono bloccate.
Come viene costruito il file virtuale
WordPress instrada /robots.txt alla funzione do_robots. Questa inizia l'output con User-agent: *, aggiunge una riga Disallow per la cartella di amministrazione e una riga Allow per admin-ajax.php, poi passa il risultato al filtro robots_txt. La classe WP_Sitemaps usa lo stesso filtro per aggiungere la riga Sitemap quando il sito è pubblico.
I plugin si agganciano allo stesso filtro, ed è per questo che un plugin SEO può mostrare un editor di robots.txt senza creare un file.
Regole utili da aggiungere su un negozio o un blog
Le pagine dei risultati della ricerca interna (indirizzi con ?s=) possono creare infinite pagine povere di contenuto, quindi molti siti le bloccano. I negozi WooCommerce spesso bloccano le pagine carrello, cassa e account, che non hanno mai bisogno di comparire nella ricerca.
Tieni l'elenco breve. Ogni riga in più è un'occasione per bloccare per errore qualcosa di importante, e robots.txt non è uno strumento per la privacy.
Modificare il file virtuale con il filtro robots_txt
Aggiungi questo codice a un piccolo plugin personalizzato o al functions.php del tuo tema child. Viene eseguito solo quando nella root non esiste un vero robots.txt.
Aggiungere regole e una sitemap personalizzata
Il secondo argomento ti dice se il sito è pubblico, così una copia di staging può essere lasciata com'è.
Com'è il file predefinito su un sito pubblico
Generato dal core su un sito installato nella root del dominio, con la sitemap del core attiva.
Generatore di robots.txt per WordPress
Blocca i risultati della ricerca interna
Blocca carrello, cassa e account di WooCommerce
Questa è una copia di staging (blocca tutto)
Indirizzo della sitemap
Il tuo robots.txt
Copia
Copiato
Test di Googlebot sul tuo file
Creato nel tuo browser. Niente viene caricato o scaricato.