robots.txt para bots de IA: cuáles permitir y cuáles bloquear

Una guía práctica de los rastreadores de IA que visitan la web de un pequeño negocio, para qué sirve cada uno según su propietario y reglas de robots.txt que te mantienen en las respuestas de búsqueda con IA y, si quieres, te excluyen del entrenamiento.

Las empresas de IA envían ahora varios rastreadores distintos, y cada uno tiene una función diferente. Algunos recogen datos de entrenamiento. Otros construyen un índice de búsqueda al que enlazan las respuestas. Otros descargan una sola página porque un usuario la ha pedido. Bloquearlos todos con una línea parece seguro, pero puede sacar sin hacer ruido a un negocio de las respuestas de búsqueda con IA que le envían clientes reales.

Cómo funciona robots.txt

robots.txt es un archivo de texto sencillo en la raíz de tu dominio. Cada grupo empieza con una línea User-agent que nombra a un rastreador, seguida de reglas Allow o Disallow. El formato está estandarizado en el RFC 9309. Es una petición, no un candado: los rastreadores serios lo respetan, pero no protege contenido privado, y la documentación de Google indica que bloquear el rastreo no elimina por sí solo una página del índice.

Los principales rastreadores de IA y lo que dicen sus propietarios que hacen

  • OAI-SearchBot (OpenAI): se usa para mostrar webs en los resultados de búsqueda de ChatGPT. La documentación de rastreadores de OpenAI dice que las webs que lo bloquean no se mostrarán en las respuestas de búsqueda de ChatGPT, aunque pueden seguir apareciendo como simples enlaces de navegación.
  • GPTBot (OpenAI): recoge contenido que puede usarse para entrenar los modelos de OpenAI. Bloquearlo es la forma documentada por OpenAI de excluirse del entrenamiento, y es independiente de OAI-SearchBot.
  • ChatGPT-User (OpenAI): descarga una página cuando la petición de una persona la necesita. OpenAI indica que las reglas de robots.txt pueden no aplicarse a estas visitas iniciadas por el usuario.
  • Google-Extended (Google): no es un rastreador aparte, sino un token de producto. Bloquearlo le dice a Google que no use tu contenido para entrenar futuros modelos de Gemini ni para fundamentar algunos de sus otros sistemas de IA. Google Search Central dice que no afecta a la inclusión ni al posicionamiento en la Búsqueda de Google, y las AI Overviews dependen de Googlebot y de los controles de fragmentos normales.
  • PerplexityBot (Perplexity): indexa páginas para las respuestas de Perplexity y, según su documentación, no se usa para entrenar modelos. Perplexity-User descarga páginas en nombre de un usuario y en general ignora robots.txt.
  • Bingbot (Microsoft): alimenta a Bing, en el que se apoya Microsoft Copilot. Bloquearlo te saca de ambos.
  • ClaudeBot y Claude-SearchBot (Anthropic): Anthropic documenta agentes distintos para entrenamiento y para búsqueda, y dice que respetan robots.txt.
  • Applebot y Applebot-Extended (Apple): Applebot da servicio a las funciones de búsqueda de Spotlight, Siri y Safari; Applebot-Extended te permite impedir que Apple use tu contenido para entrenar sus modelos fundacionales, sin afectar a la búsqueda.

Una configuración sensata para un negocio local

La mayoría de los pequeños negocios quieren que los encuentren y los nombren en las respuestas. Una configuración habitual y equilibrada permite los rastreadores de búsqueda y decide por separado sobre el entrenamiento. Por ejemplo, para seguir en la búsqueda de ChatGPT y en Perplexity excluyéndote del entrenamiento de OpenAI y de Google:

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Allow: /

Sitemap: https://www.example.com/sitemap.xml

Excluirte o no del entrenamiento es una decisión de negocio. Estar en los datos de entrenamiento puede hacer que un modelo conozca mejor tu nombre; excluirte mantiene tu texto fuera de futuras versiones de los modelos. Ninguna de las dos opciones afecta al posicionamiento en la Búsqueda de Google.

Otros sitios donde se bloquean bots

Revisa también la configuración de tu CDN y de seguridad, además de robots.txt. Algunos cortafuegos de hosting y funciones de gestión de bots bloquean los rastreadores de IA por defecto, lo que anula un robots.txt abierto. Si usas uno, busca un ajuste para rastreadores de IA y confirma que los agentes de búsqueda que quieres están permitidos.

Prueba tu archivo

Abre tuweb.com/robots.txt en un navegador para confirmar que carga. Google Search Console tiene un informe de robots.txt que muestra la versión que descargó Google y cualquier error. Bing Webmaster Tools ofrece un probador de robots.txt. Vuelve a comprobarlo después de cambiar de hosting o de instalar un plugin de seguridad.

Cuando los bots adecuados pueden llegar a ti, necesitan páginas que merezca la pena leer, y ahí encaja SEO God Mode en una web de We.Inc, sugiriendo temas semanales a partir de tus propios servicios y redactando artículos que tú apruebas.

Preguntas frecuentes

Si bloqueo GPTBot, ¿desapareceré de la búsqueda de ChatGPT?

No, según OpenAI. GPTBot es el rastreador de entrenamiento; la búsqueda de ChatGPT usa OAI-SearchBot. Permitir uno y bloquear el otro no tiene problema.

¿Bloquear Google-Extended me saca de las AI Overviews?

No. Google dice que Google-Extended controla el uso del contenido para entrenar Gemini y no afecta a la Búsqueda de Google, incluidas las AI Overviews, que usan Googlebot.

¿Basta robots.txt para mantener privado un contenido?

No. Es una petición que siguen los rastreadores que se portan bien. Lo que sea de verdad privado necesita inicio de sesión o protección con contraseña, y noindex es la herramienta para mantener una página fuera de los resultados de búsqueda.

Empieza gratis · Sin tarjeta de crédito

Relacionado: Guías

Producto

Para quién es

Funciones

Recursos

Empresa

Mapa del sitio