robots.txt en WordPress: reglas por defecto, edición y ejemplos seguros
robots.txt en WordPress
robots.txt en WordPress: reglas por defecto y ejemplos seguros | We.Inc
Dónde crea WordPress su robots.txt virtual, las líneas exactas que genera el núcleo, cómo sustituirlo por un archivo real o un filtro, y un generador de archivo seguro.
WordPress no tiene por defecto ningún archivo robots.txt en el disco. Cuando alguien solicita /robots.txt, el núcleo lo genera al momento: User-agent: *, Disallow: /wp-admin/, Allow: /wp-admin/admin-ajax.php, más una línea Sitemap en los sitios públicos desde la versión 5.5. Subir un robots.txt real a la raíz del sitio sustituye esa versión virtual.
Lo que el núcleo de WordPress muestra en /robots.txt
Línea
De dónde sale
Por qué
User-agent: *
do_robots()
Las reglas se aplican a todos los rastreadores
Disallow: /wp-admin/
do_robots(), ruta de admin_url()
Mantiene a los rastreadores fuera del escritorio
Allow: /wp-admin/admin-ajax.php
do_robots()
Los temas y plugins llaman a este archivo desde páginas públicas
Sitemap: .../wp-sitemap.xml
WP_Sitemaps::add_robots() (5.5+)
Indica a los rastreadores el índice de sitemaps del núcleo; solo en sitios públicos
Como el archivo por defecto lo genera el código, no lo encontrarás con un cliente FTP ni en el gestor de archivos de tu hosting, algo que confunde a muchos propietarios de sitios. Puedes cambiarlo de tres formas: subir un archivo real, dejar que lo edite un plugin de SEO o añadir un pequeño filtro en código. Crea una versión segura con el generador de abajo.
Abre tusitio.com/robots.txt en un navegador para ver lo que se está sirviendo ahora mismo.
Elige en el generador las opciones que encajan con tu sitio e introduce la dirección de tu sitemap.
Revisa las rutas de prueba de debajo: CSS, JavaScript y las subidas deben aparecer como permitidas.
Guarda el resultado como robots.txt en la carpeta que contiene wp-config.php, o pégalo en el editor de tu plugin de SEO.
Nunca bloquees /wp-content/ ni /wp-includes/. Ahí están las hojas de estilo, los scripts y las imágenes de tu tema, y Google los necesita para ver la página como la ven los visitantes.
Si usas un plugin de SEO que genera su propio sitemap, pon en el archivo la dirección de ese sitemap en lugar de la del núcleo.
Un archivo real prevalece sobre todo, incluidas las ediciones de plugins que funcionan a través del archivo virtual, así que elimina cualquier archivo subido antiguo antes de usar el editor de un plugin.
No intentes ocultar páginas privadas con robots.txt. El archivo es público y enumera justo las rutas que querías ocultar.
Preguntas frecuentes
¿Dónde está el archivo robots.txt en WordPress?
Normalmente en ninguna parte. La función do_robots escribe la respuesta cada vez que se solicita /robots.txt. Solo hay un archivo que editar si tú o un plugin subisteis un robots.txt real a la carpeta raíz.
¿La opción Disuade a los motores de búsqueda de indexar este sitio cambia el robots.txt?
No desde WordPress 5.3. El artículo sobre los Ajustes de lectura dice que la opción ahora añade una etiqueta meta robots con noindex,nofollow en el head de cada página. Hasta la 5.2 hacía que robots.txt enviara Disallow: /.
¿Cómo edito robots.txt sin un plugin?
O subes un archivo de texto plano llamado robots.txt a la raíz del sitio, o te enganchas al filtro robots_txt en un pequeño plugin o en tu tema hijo. El filtro recibe el texto generado y un indicador que dice si el sitio es público.
¿Por qué mi robots.txt muestra algo distinto de los ajustes de mi plugin?
El artículo sobre los Ajustes de lectura señala que el comportamiento integrado solo funciona cuando WordPress está instalado en la raíz del sitio y no existe ningún robots.txt. Un archivo físico, una regla del hosting o una capa de caché pueden servir otra cosa.
¿Debería bloquear /wp-admin/?
La configuración por defecto ya lo hace, y está bien: el escritorio no tiene nada que posicionar. Mantén la línea Allow de admin-ajax.php para no bloquear las funciones públicas que lo llaman.
Cómo se construye el archivo virtual
WordPress dirige /robots.txt a la función do_robots. Esta empieza la salida con User-agent: *, añade una línea Disallow para la carpeta de administración y una línea Allow para admin-ajax.php, y después pasa el resultado por el filtro robots_txt. La clase WP_Sitemaps usa ese mismo filtro para añadir la línea Sitemap cuando el sitio es público.
Los plugins se enganchan al mismo filtro, y por eso un plugin de SEO puede mostrar un editor de robots.txt sin crear ningún archivo.
Reglas que vale la pena añadir en una tienda o un blog
Las páginas de resultados de la búsqueda interna (direcciones con ?s=) pueden generar páginas pobres sin fin, así que muchos sitios las bloquean. Las tiendas WooCommerce suelen bloquear las páginas de carrito, pago y cuenta, que nunca necesitan aparecer en los buscadores.
Mantén la lista corta. Cada línea extra es una ocasión de bloquear algo importante por error, y robots.txt no es una herramienta de privacidad.
Editar el archivo virtual con el filtro robots_txt
Añade esto a un pequeño plugin propio o al functions.php de tu tema hijo. Solo se ejecuta cuando no existe un robots.txt real en la raíz.
Añadir reglas y un sitemap propio
El segundo argumento indica si el sitio es público, así puedes dejar en paz una copia de pruebas.
Cómo es el archivo por defecto en un sitio público
Generado por el núcleo en un sitio instalado en la raíz del dominio, con el sitemap del núcleo activado.
Generador de robots.txt para WordPress
Bloquear los resultados de la búsqueda interna
Bloquear carrito, pago y cuenta de WooCommerce
Es una copia de pruebas (bloquear todo)
Dirección del sitemap
Tu robots.txt
Copiar
Copiado
Prueba de Googlebot con tu archivo
Se genera en tu navegador. No se sube ni se descarga nada.