Robots.txt Tester
Esta ferramenta gratuita de teste de robots.txt baixa o robots.txt ativo de um site, aplica as regras de correspondência do Google e informa se o rastreador que você escolher (Googlebot, Bingbot, GPTBot, ClaudeBot, PerplexityBot e outros) pode acessar uma URL específica, qual regra a decide, qual grupo de user-agent se aplica e quais sitemaps o arquivo lista. O arquivo em si é exibido para revisão.
Robots.txt Tester
Technical SEO
Sobre esta ferramenta
Uma linha errada no robots.txt pode esconder um site inteiro do Google, e isso acontece mais vezes do que se admite: um Disallow: / deixado de um ambiente de testes, uma regra destinada a uma pasta que corresponde a centenas, ou um bloqueio em CSS e JavaScript que impede o Google de renderizar páginas. O mesmo arquivo agora decide quais rastreadores de IA podem ler seu conteúdo, então merece um teste adequado em vez de uma olhada rápida.
O testador busca o robots.txt na raiz do domínio, o analisa da forma como o Google faz (agrupa por user-agent, o grupo do próprio rastreador vence sobre o grupo *, a regra correspondente mais longa vence, Allow vence um empate, * e $ são curingas) e avalia o caminho que você fornece para o rastreador que escolher. Ele nomeia a regra decisória, mostra qual grupo foi usado, lista cada linha de Sitemap e imprime o arquivo para que você possa ler as regras em contexto.
Robots.txt controla o rastreamento, não a indexação: uma página bloqueada ainda pode aparecer nos resultados se outros sites vincularem a ela, e uma página que você deseja remover precisa de uma tag noindex ou solicitação de remoção. Rastreadores diferentes do Google podem interpretar curingas de forma diferente, e as regras no arquivo se aplicam apenas ao host do qual foram obtidas, portanto www e não-www precisam de seus próprios.
Perguntas frequentes
Bloquear uma página no robots.txt a remove do Google?
Não. Robots.txt impede que o Google acesse a página, mas se outras páginas vincularem a ela, o Google ainda pode listar a URL sem descrição. Para manter uma página fora dos resultados, permita que o Google a rastreie e adicione uma tag meta noindex ou cabeçalho, ou use a ferramenta de remoção no Search Console.
Como faço para bloquear rastreadores de IA como GPTBot ou ClaudeBot?
Adicione um grupo para cada: User-agent: GPTBot seguido por Disallow: /, e o mesmo para ClaudeBot, CCBot ou Google-Extended. Cada rastreador tem seu próprio token e seu próprio grupo. Lembre-se de que bloquear rastreadores de IA também mantém seu conteúdo fora das respostas de busca de IA, então decida o que você quer antes de bloquear tudo.
Qual regra vence quando Allow e Disallow correspondem?
O Google usa a regra mais específica, ou seja, o caminho correspondente mais longo. Se ambos tiverem o mesmo comprimento, Allow vence. Então Disallow: /blog/ com Allow: /blog/guide permite a página de guia. Curingas contam por seu comprimento literal, então uma regra com * pode perder para um caminho simples mais longo.
Por que o Google ignora minha linha Crawl-delay?
O Google não suporta Crawl-delay e nunca suportou; ele define sua própria taxa de rastreamento, que você pode reduzir no Search Console. Bing e Yandex a respeitam. O testador relata apenas linhas Allow, Disallow e Sitemap porque são as que o Google lê.
Meu robots.txt retorna 404. Isso é um problema?
Não por si só: um robots.txt ausente significa que tudo pode ser rastreado. Um robots.txt que retorna um erro de servidor (5xx) é pior, porque o Google pode parar de rastrear o site até que se recupere. Se você não tem nada para bloquear, sirva um arquivo pequeno com User-agent: * e um Disallow vazio, mais sua linha de sitemap.