Generador Robots.txt Gratis
Un generador de robots.txt construye el archivo que indica a los crawlers qué partes de tu sitio pueden visitar. Este generador gratuito establece una configuración predeterminada para todos los robots, permite o bloquea motores de búsqueda, crawlers de IA como GPTBot y ClaudeBot, y bots SEO, añade rutas bloqueadas y tu sitemap, y te proporciona un robots.txt terminado para copiar.
Generador de Robots.txt
Technical SEO
Sobre esta herramienta
Un crawler obedece solo al grupo más específico que lo nombra. Si das a Googlebot su propio grupo, ignora todo en el grupo "User-agent: *", incluidas tus rutas bloqueadas. Este generador lo maneja por ti: cualquier robot que configures como Permitir mientras el predeterminado bloquea todo obtiene su propio grupo con tus rutas bloqueadas repetidas, y los robots dejados en "Igual que el predeterminado" simplemente siguen el grupo principal.
Robots.txt controla el rastreo, no la indexación. Una página bloqueada aún puede aparecer en resultados de búsqueda si otros sitios enlazan a ella, así que para mantener una página fuera, déjala rastrear y añade una etiqueta noindex en su lugar. Bloquear un crawler de IA solo afecta sus visitas futuras. Google-Extended es un token de permiso más que un crawler: bloquearlo mantiene tus páginas fuera del entrenamiento de Gemini y grounding sin cambiar cómo Google Search te rastrea o clasifica. Google ignora Crawl-delay, mientras que Bing y algunos otros crawlers lo respetan.
El error costoso es un "Disallow: /" residual de un sitio de staging, que silenciosamente bloquea un sitio en vivo completo. SEO SMO HUB verifica robots.txt en cada sitio cliente antes que nada, y decidimos sobre crawlers de IA con cada cliente: bloquearlos protege el contenido, mientras que permitirlos mantiene la marca elegible para ser citada en respuestas de IA. Nuestro propio robots.txt da la bienvenida a GPTBot, ClaudeBot y PerplexityBot exactamente por esa razón.
Preguntas frecuentes
¿Cómo creo un archivo robots.txt?
Elige si todos los robots pueden rastrear por defecto, configura cualquier motor de búsqueda, crawler de IA o bot SEO para permitir o bloquear, lista las rutas para mantener los crawlers fuera, como /admin/ o /cart/, y pega la dirección de tu sitemap. Haz clic en generar, copia el resultado en un archivo de texto plano llamado robots.txt y cárgalo en la raíz de tu dominio.
¿Debo bloquear crawlers de IA como GPTBot y ClaudeBot?
Depende de lo que quieras de las herramientas de IA. Bloquear crawlers de entrenamiento mantiene el contenido nuevo fuera del entrenamiento futuro de empresas que respetan robots.txt, pero los asistentes cada vez más responden con citas, y bots enfocados en respuestas como PerplexityBot deciden si tus páginas pueden ser citadas. Muchos negocios bloquean bots de entrenamiento y permiten bots de respuesta. Decide por cada bot, no todos a la vez.
¿Dónde cargo el archivo robots.txt?
Guarda la salida como un archivo de texto plano llamado robots.txt y cárgalo en la raíz de tu dominio, para que se abra en https://tudominio.com/robots.txt. Solo se aplica a ese host y protocolo exacto, así que un subdominio como shop.tudominio.com necesita su propio archivo. Después de cargar, abre la dirección en un navegador para confirmar que se carga.
¿Bloquear una página en robots.txt la elimina de Google?
No. Robots.txt detiene el rastreo, no la indexación. Si otras páginas enlazan a una URL bloqueada, Google aún puede listarla, generalmente sin descripción. Para eliminar una página, permite el rastreo y añade una etiqueta robots noindex, o protégela con contraseña. Una vez que haya desaparecido del índice, puedes bloquearla de nuevo si quieres.
¿Qué debe contener un robots.txt de WordPress?
Para la mayoría de sitios WordPress: permite todo por defecto, bloquea /wp-admin/ mientras permites /wp-admin/admin-ajax.php, y lista tu sitemap, que WordPress sirve en /wp-sitemap.xml o tu plugin SEO sirve en /sitemap_index.xml. No bloquees /wp-content/ o /wp-includes/, porque Google necesita el CSS y JavaScript allí para renderizar tus páginas.