Gerador Robots.txt Grátis
Um gerador de robots.txt constrói o arquivo que diz aos crawlers quais partes do seu site eles podem visitar. Este gerador gratuito define um padrão para todos os robots, permite ou bloqueia mecanismos de busca, crawlers de IA como GPTBot e ClaudeBot, e bots SEO, adiciona caminhos bloqueados e seu sitemap, e oferece um robots.txt pronto para copiar.
Gerador de Robots.txt
Technical SEO
Sobre esta ferramenta
Um crawler obedece apenas ao grupo mais específico que o nomeia. Se você der ao Googlebot seu próprio grupo, ele ignora tudo no grupo "User-agent: *", incluindo seus caminhos bloqueados. Este gerador cuida disso para você: qualquer robot que você configure como Permitir enquanto o padrão bloqueia tudo recebe seu próprio grupo com seus caminhos bloqueados repetidos, e robots deixados em "Mesmo que o padrão" simplesmente seguem o grupo principal.
Robots.txt controla rastreamento, não indexação. Uma página bloqueada ainda pode aparecer nos resultados de busca se outros sites vincularem a ela, então para manter uma página fora, deixe-a ser rastreada e adicione uma tag noindex. Bloquear um crawler de IA apenas afeta suas visitas futuras. Google-Extended é um token de permissão em vez de um crawler: bloqueá-lo mantém suas páginas fora do treinamento e fundamentação do Gemini sem alterar como o Google Search rastreia ou classifica você. Google ignora Crawl-delay, enquanto Bing e alguns outros crawlers o respeitam.
O erro custoso é um "Disallow: /" deixado de um site de staging, que silenciosamente bloqueia um site inteiro em produção. SEO SMO HUB verifica robots.txt em cada site de cliente antes de qualquer outra coisa, e decidimos sobre crawlers de IA com cada cliente: bloqueá-los protege conteúdo, enquanto permitir os mantém elegíveis para serem citados em respostas de IA. Nosso próprio robots.txt recebe GPTBot, ClaudeBot e PerplexityBot exatamente por essa razão.
Perguntas frequentes
Como faço para criar um arquivo robots.txt?
Escolha se todos os robots podem rastrear por padrão, configure qualquer mecanismo de busca, crawler de IA ou bot SEO para permitir ou bloquear, liste os caminhos para manter crawlers fora, como /admin/ ou /cart/, e cole o endereço do seu sitemap. Clique em gerar, copie o resultado em um arquivo de texto simples chamado robots.txt e faça upload na raiz do seu domínio.
Devo bloquear crawlers de IA como GPTBot e ClaudeBot?
Depende do que você quer dos ferramentas de IA. Bloquear crawlers de treinamento mantém conteúdo novo fora do treinamento futuro de empresas que respeitam robots.txt, mas assistentes cada vez mais respondem com citações, e bots focados em respostas como PerplexityBot decidem se suas páginas podem ser citadas. Muitos negócios bloqueiam bots de treinamento e permitem bots de resposta. Decida por bot, não todos de uma vez.
Onde faço upload do arquivo robots.txt?
Salve a saída como um arquivo de texto simples chamado robots.txt e faça upload na raiz do seu domínio, para que abra em https://seudominio.com/robots.txt. Ele se aplica apenas a esse host e protocolo exatos, então um subdomínio como shop.seudominio.com precisa de seu próprio arquivo. Após fazer upload, abra o endereço em um navegador para confirmar que carrega.
Bloquear uma página em robots.txt a remove do Google?
Não. Robots.txt interrompe o rastreamento, não a indexação. Se outras páginas vincularem a uma URL bloqueada, o Google ainda pode listá-la, geralmente sem descrição. Para remover uma página, permita rastreamento e adicione uma tag robots noindex, ou proteja-a com senha. Depois que sair do índice, você pode bloqueá-la novamente se quiser.
O que um robots.txt do WordPress deve conter?
Para a maioria dos sites WordPress: permita tudo por padrão, bloqueie /wp-admin/ enquanto permite /wp-admin/admin-ajax.php, e liste seu sitemap, que WordPress serve em /wp-sitemap.xml ou seu plugin SEO serve em /sitemap_index.xml. Não bloqueie /wp-content/ ou /wp-includes/, porque o Google precisa do CSS e JavaScript lá para renderizar suas páginas.