Qué hace realmente User-agent: * con Disallow: /, por qué las páginas bloqueadas pueden seguir apareciendo en Google, por qué se ignora noindex en robots.txt, y un comprobador de reglas.
Dos líneas, User-agent: * seguida de Disallow: /, piden a todos los rastreadores respetuosos que dejen de descargar cualquier página de ese host. No eliminan páginas de los resultados: Google dice que una dirección bloqueada puede seguir apareciendo sin descripción cuando otras webs enlazan a ella. Para mantener páginas fuera, usa noindex o una contraseña.
Formas de mantener alejados a rastreadores o buscadores, comparadas
robots.txt es un archivo de texto plano en la raíz de tu dominio que indica a los rastreadores, los programas que envían los buscadores para leer páginas, qué rutas pueden descargar. Un archivo que lo bloquea todo es habitual en copias de staging y webs nuevas, y también es la línea que más a menudo se olvida por accidente en el lanzamiento. Prueba tus propias reglas en el comprobador de abajo.
No. Impide que Googlebot lea las páginas, pero la documentación de Google dice que una URL bloqueada puede seguir indexada y mostrarse sin fragmento. Para quitar páginas de los resultados, deja que Google las rastree y sirve noindex.
La página de Google sobre bloquear la indexación indica que una regla noindex en el archivo robots.txt no se admite. Pon noindex en una metaetiqueta robots en el head de la página, o en una cabecera de respuesta X-Robots-Tag para archivos como PDF.
No. La especificación de robots.txt de Google enumera user-agent, allow, disallow y sitemap como los campos que lee y cita crawl-delay como no admitido. El blog para webmasters de Bing dice que Bingbot sí respeta Crawl-delay, con un margen de uno a treinta segundos.
El RFC 9309 dice que un rastreador debe asumir un bloqueo total cuando el archivo no es accesible por un error del servidor. Google deja de rastrear durante las primeras 12 horas y después recurre a su última copia válida, así que un archivo roto puede pausar el rastreo.
Google suele guardar el archivo en caché hasta 24 horas, y el RFC 9309 dice que los rastreadores no deberían usar una copia en caché más tiempo. Cuenta con hasta un día antes de que se note que has quitado un bloqueo.
Cada archivo de abajo va en la raíz de un host, por ejemplo https://staging.example.com/robots.txt.
El archivo clásico de staging. Quítalo antes del lanzamiento.
Un valor de Disallow vacío no bloquea nada. Añade la dirección de tu sitemap para que los rastreadores encuentren todas las páginas.
La ruta Allow más larga gana a la ruta Disallow de un solo carácter.
Deja la página rastreable y añade esta etiqueta a su head. La versión como cabecera de respuesta funciona para PDF e imágenes.
Tu robots.txt
Nombre del rastreador
Ruta a probar
Resultado
Permitido: {p} se puede rastrear.
Bloqueado: {p} no se puede rastrear.
Grupo usado: el que nombra a {v}.
Grupo usado: User-agent: * (ningún grupo nombra a este rastreador).
No se aplica ningún grupo, así que todo está permitido.
Línea decisiva {n}: {v}
Ninguna regla coincide con esta ruta, así que está permitida.
Funciona en tu navegador con el texto que pegas, según el RFC 9309. No se descarga ni se sube nada.
Empieza gratis · Sin tarjeta de crédito