Robots.txt Tester
Esta herramienta gratuita de prueba de robots.txt descarga el robots.txt en vivo de un sitio, aplica las reglas de coincidencia de Google y te dice si el rastreador que elijas (Googlebot, Bingbot, GPTBot, ClaudeBot, PerplexityBot y más) puede acceder a una URL determinada, qué regla lo decide, qué grupo de user-agent aplica y qué sitemaps lista el archivo. El archivo se muestra para revisión.
Robots.txt Tester
Technical SEO
Sobre esta herramienta
Una línea incorrecta en robots.txt puede ocultar un sitio completo de Google, y sucede más a menudo de lo que nadie admite: un Disallow: / olvidado de staging, una regla destinada a una carpeta que coincide con cien, o un bloqueo de CSS y JavaScript que impide que Google renderice páginas. El mismo archivo ahora decide qué rastreadores de IA pueden leer tu contenido, así que merece una prueba adecuada en lugar de una mirada rápida.
El probador obtiene el robots.txt en la raíz del dominio, lo analiza de la manera que lo hace Google (agrupa por user-agent, el grupo propio del rastreador gana sobre el grupo *, la regla coincidente más larga gana, Allow gana un empate, * y $ son comodines) y evalúa la ruta que proporcionas para el rastreador que elijas. Nombra la regla decisiva, muestra qué grupo se utilizó, lista cada línea de Sitemap e imprime el archivo para que puedas leer las reglas en contexto.
Robots.txt controla el rastreo, no la indexación: una página bloqueada aún puede aparecer en resultados si otros sitios enlazan a ella, y una página que deseas eliminar necesita una etiqueta noindex o una solicitud de eliminación en su lugar. Los rastreadores distintos de Google pueden interpretar los comodines de manera diferente, y las reglas en el archivo solo se aplican al host del que se obtuvieron, así que www y no-www necesitan cada uno el suyo.
Preguntas frecuentes
¿Bloquear una página en robots.txt la elimina de Google?
No. Robots.txt impide que Google obtenga la página, pero si otras páginas enlazan a ella, Google aún puede listar la URL sin descripción. Para mantener una página fuera de resultados, permite que Google la rastree y añade una etiqueta meta noindex o encabezado, o usa la herramienta de eliminación en Search Console.
¿Cómo bloqueo rastreadores de IA como GPTBot o ClaudeBot?
Añade un grupo para cada uno: User-agent: GPTBot seguido de Disallow: /, y lo mismo para ClaudeBot, CCBot o Google-Extended. Cada rastreador tiene su propio token y su propio grupo. Recuerda que bloquear rastreadores de IA también mantiene tu contenido fuera de respuestas de búsqueda de IA, así que decide qué quieres antes de bloquearlo todo.
¿Qué regla gana cuando Allow y Disallow coinciden ambas?
Google usa la regla más específica, es decir, la ruta coincidente más larga. Si ambas tienen la misma longitud, Allow gana. Así que Disallow: /blog/ con Allow: /blog/guide permite la página de guía. Los comodines cuentan por su longitud literal, así que una regla con * puede perder ante una ruta simple más larga.
¿Por qué Google ignora mi línea Crawl-delay?
Google no soporta Crawl-delay y nunca lo ha hecho; establece su propia velocidad de rastreo, que puedes reducir en Search Console. Bing y Yandex sí la respetan. El probador solo reporta líneas Allow, Disallow y Sitemap porque esas son las que Google lee.
Mi robots.txt devuelve 404. ¿Es un problema?
No por sí solo: un robots.txt faltante significa que todo puede ser rastreado. Un robots.txt que devuelve un error de servidor (5xx) es peor, porque Google puede dejar de rastrear el sitio hasta que se recupere. Si no tienes nada que bloquear, sirve un archivo pequeño con User-agent: * y un Disallow vacío, más tu línea de sitemap.