Robots.txt Tester
Ce testeur robots.txt gratuit télécharge le robots.txt en direct d'un site, applique les règles de correspondance de Google et vous indique si le crawler que vous choisissez (Googlebot, Bingbot, GPTBot, ClaudeBot, PerplexityBot et autres) peut récupérer une URL donnée, quelle règle la décide, quel groupe d'user-agent s'applique et quels sitemaps le fichier liste. Le fichier lui-même s'affiche pour examen.
Robots.txt Tester
Technical SEO
À propos de cet outil
Une seule ligne mal placée dans robots.txt peut cacher tout un site à Google, et cela arrive plus souvent qu'on ne l'avoue : un Disallow: / oublié depuis la mise en scène, une règle destinée à un dossier qui en bloque cent, ou un blocage du CSS et du JavaScript qui empêche Google de rendre les pages. Ce fichier décide maintenant aussi quels crawlers IA peuvent lire votre contenu, il mérite donc un vrai test plutôt qu'un coup d'œil rapide.
Le testeur récupère le robots.txt à la racine du domaine, l'analyse comme Google le fait (groupes par user-agent, le groupe du crawler lui-même prime sur le groupe *, la règle la plus longue qui correspond gagne, Allow gagne une égalité, * et $ sont des jokers) et évalue le chemin que vous donnez pour le crawler que vous choisissez. Il nomme la règle décisive, montre quel groupe a été utilisé, liste chaque ligne Sitemap et affiche le fichier pour que vous puissiez lire les règles en contexte.
Robots.txt contrôle le crawl, pas l'indexation : une page bloquée peut toujours apparaître dans les résultats si d'autres sites la lient, et une page que vous voulez supprimer a besoin d'une balise noindex ou d'une demande de suppression. Les crawlers autres que Google peuvent interpréter les jokers différemment, et les règles du fichier ne s'appliquent qu'à l'hôte d'où il a été récupéré, donc www et non-www ont chacun besoin du leur.
Questions fréquentes
Bloquer une page dans robots.txt la supprime-t-il de Google ?
Non. Robots.txt empêche Google de récupérer la page, mais si d'autres pages la lient Google peut toujours lister l'URL sans description. Pour garder une page hors des résultats, laissez Google la crawler et ajoutez une balise meta noindex ou un en-tête, ou utilisez l'outil de suppression dans Search Console.
Comment bloquer les crawlers IA comme GPTBot ou ClaudeBot ?
Ajoutez un groupe pour chacun : User-agent: GPTBot suivi de Disallow: /, et la même chose pour ClaudeBot, CCBot ou Google-Extended. Chaque crawler a son propre token et son propre groupe. Rappelez-vous que bloquer les crawlers IA garde aussi votre contenu hors des réponses de recherche IA, décidez donc ce que vous voulez avant de tout bloquer.
Quelle règle gagne quand Allow et Disallow correspondent tous les deux ?
Google utilise la règle la plus spécifique, c'est-à-dire le chemin le plus long qui correspond. Si les deux ont la même longueur, Allow gagne. Donc Disallow: /blog/ avec Allow: /blog/guide autorise la page guide. Les jokers comptent par leur longueur littérale, donc une règle avec * peut perdre face à un chemin simple plus long.
Pourquoi Google ignore-t-il ma ligne Crawl-delay ?
Google ne supporte pas Crawl-delay et ne l'a jamais fait ; il fixe son propre taux de crawl, que vous pouvez réduire dans Search Console. Bing et Yandex le respectent. Le testeur ne rapporte que les lignes Allow, Disallow et Sitemap parce que ce sont celles que Google lit.
Mon robots.txt retourne 404. Est-ce un problème ?
Pas en soi : un robots.txt manquant signifie que tout peut être crawlé. Un robots.txt qui retourne une erreur serveur (5xx) est pire, car Google peut arrêter de crawler le site jusqu'à sa récupération. Si vous n'avez rien à bloquer, servez un petit fichier avec User-agent: * et un Disallow vide, plus votre ligne sitemap.