robots.txt per i bot IA: quali consentire e quali bloccare

Una guida pratica ai crawler IA che visitano il sito di una piccola impresa, a cosa serve ciascuno secondo chi lo gestisce e regole robots.txt che ti mantengono nelle risposte di ricerca IA escludendo, se vuoi, l'addestramento.

Le aziende di IA oggi inviano diversi crawler, e ognuno ha un compito diverso. Alcuni raccolgono dati di addestramento. Alcuni costruiscono un indice di ricerca a cui le risposte rimandano con un link. Alcuni recuperano una singola pagina perché un utente l'ha chiesta. Bloccarli tutti con una riga sembra sicuro, ma può togliere senza far rumore un'attività dalle risposte di ricerca IA che portano clienti veri.

Come funziona robots.txt

robots.txt è un semplice file nella radice del tuo dominio. Ogni gruppo inizia con una riga User-agent che nomina un crawler, seguita da regole Allow o Disallow. Il formato è standardizzato nella RFC 9309. È una richiesta, non un lucchetto: i crawler affidabili la seguono, ma non protegge i contenuti privati, e la documentazione di Google ricorda che bloccare la scansione non rimuove da sola una pagina dall'indice.

I principali crawler IA e cosa dicono di fare i loro proprietari

  • OAI-SearchBot (OpenAI): serve a mostrare i siti nei risultati di ricerca di ChatGPT. La documentazione sui crawler di OpenAI dice che i siti che lo bloccano non verranno mostrati nelle risposte di ricerca di ChatGPT, anche se potrebbero comparire come semplici link di navigazione.
  • GPTBot (OpenAI): raccoglie contenuti che possono essere usati per addestrare i modelli di OpenAI. Bloccarlo è il modo documentato da OpenAI per escludersi dall'addestramento, ed è indipendente da OAI-SearchBot.
  • ChatGPT-User (OpenAI): recupera una pagina quando la richiesta di una persona ne ha bisogno. OpenAI indica che le regole di robots.txt potrebbero non valere per queste visite avviate dagli utenti.
  • Google-Extended (Google): non è un crawler separato ma un token di prodotto. Escluderlo dice a Google di non usare i tuoi contenuti per addestrare i futuri modelli Gemini o per il grounding in alcuni altri suoi sistemi IA. Google Search Central dice che non influisce sull'inclusione o sul posizionamento nella Ricerca Google, e le AI Overview sono regolate da Googlebot e dai normali controlli sugli snippet.
  • PerplexityBot (Perplexity): indicizza le pagine per le risposte di Perplexity e, secondo la documentazione di Perplexity, non viene usato per addestrare modelli. Perplexity-User recupera pagine per conto di un utente e in genere ignora robots.txt.
  • Bingbot (Microsoft): alimenta Bing, su cui si basa Microsoft Copilot. Bloccarlo ti toglie da entrambi.
  • ClaudeBot e Claude-SearchBot (Anthropic): Anthropic documenta agenti separati per l'addestramento e per la ricerca, e dice che rispettano robots.txt.
  • Applebot e Applebot-Extended (Apple): Applebot alimenta le funzioni di ricerca in Spotlight, Siri e Safari; Applebot-Extended ti permette di escludere l'uso dei tuoi contenuti per addestrare i modelli di base di Apple, senza influire sulla ricerca.

Una configurazione sensata per un'attività locale

La maggior parte delle piccole imprese vuole essere trovata e nominata nelle risposte. Una configurazione comune ed equilibrata consente i crawler di ricerca e decide a parte sull'addestramento. Per esempio, per restare nella ricerca di ChatGPT e in Perplexity escludendo l'addestramento di OpenAI e Google:

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Allow: /

Sitemap: https://www.example.com/sitemap.xml

Escludersi o meno dall'addestramento è una scelta aziendale. Essere nei dati di addestramento può rendere un modello più familiare con il tuo nome; escludersi tiene il tuo testo fuori dalle future versioni dei modelli. Nessuna delle due scelte influisce sul posizionamento nella Ricerca Google.

Altri posti in cui i bot vengono bloccati

Controlla le impostazioni della CDN e di sicurezza oltre a robots.txt. Alcuni firewall degli hosting e alcune funzioni di gestione dei bot bloccano i crawler IA per impostazione predefinita, scavalcando un robots.txt aperto. Se ne usi uno, cerca un'impostazione per i crawler IA e conferma che gli agenti di ricerca che vuoi siano consentiti.

Verifica il tuo file

Apri yoursite.com/robots.txt in un browser per confermare che si carichi. Google Search Console ha un report robots.txt che mostra la versione recuperata da Google ed eventuali errori. Bing Webmaster Tools offre un tester di robots.txt. Ricontrolla dopo aver cambiato hosting o installato un plugin di sicurezza.

Una volta che i bot giusti possono raggiungerti, servono pagine che valga la pena leggere, ed è qui che SEO God Mode entra in gioco su un sito We.Inc, suggerendo argomenti settimanali dai tuoi servizi e preparando articoli che approvi tu.

Domande frequenti

Se blocco GPTBot, sparisco dalla ricerca di ChatGPT?

Non secondo OpenAI. GPTBot è il crawler per l'addestramento; la ricerca di ChatGPT usa OAI-SearchBot. Consentirne uno e bloccare l'altro va bene.

Bloccare Google-Extended mi toglie dalle AI Overview?

No. Google dice che Google-Extended controlla l'uso dei contenuti per l'addestramento di Gemini e non influisce sulla Ricerca Google, AI Overview comprese, che usano Googlebot.

robots.txt basta a mantenere privati i contenuti?

No. È una richiesta che i crawler corretti seguono. Ciò che è davvero privato richiede un login o una protezione con password, e noindex è lo strumento per tenere una pagina fuori dai risultati di ricerca.

Inizia gratis · Nessuna carta di credito richiesta

Correlati: Guide

Prodotto

Per chi è

Funzionalità

Risorse

Azienda

Mappa del sito