Générateur Robots.txt Gratuit
Un générateur robots.txt crée le fichier qui indique aux crawlers quelles parties de votre site ils peuvent visiter. Ce générateur gratuit définit un paramètre par défaut pour tous les robots, autorise ou bloque les moteurs de recherche, les crawlers IA comme GPTBot et ClaudeBot, et les bots SEO, ajoute les chemins bloqués et votre sitemap, et vous fournit un robots.txt terminé à copier.
Générateur Robots.txt
Technical SEO
À propos de cet outil
Un crawler n'obéit qu'au groupe le plus spécifique qui le nomme. Si vous donnez à Googlebot son propre groupe, il ignore tout dans le groupe « User-agent: * », y compris vos chemins bloqués. Ce générateur gère cela pour vous : tout robot que vous réglez sur Autoriser alors que le paramètre par défaut bloque tout reçoit son propre groupe avec vos chemins bloqués répétés, et les robots laissés sur « Identique au paramètre par défaut » suivent simplement le groupe principal.
Robots.txt contrôle l'exploration, pas l'indexation. Une page bloquée peut toujours apparaître dans les résultats de recherche si d'autres sites la lient, donc pour la garder hors des résultats, laissez-la être explorée et ajoutez plutôt une balise noindex. Bloquer un crawler IA n'affecte que ses visites futures. Google-Extended est un jeton de permission plutôt qu'un crawler : le bloquer garde vos pages hors de l'entraînement et de l'ancrage de Gemini sans modifier la façon dont Google Search vous explore ou vous classe. Google ignore Crawl-delay, tandis que Bing et certains autres crawlers le respectent.
L'erreur coûteuse est un « Disallow: / » oublié d'un site de staging, qui bloque silencieusement un site en direct entier. SEO SMO HUB vérifie robots.txt sur chaque site client avant toute chose, et nous décidons des crawlers IA avec chaque client : les bloquer protège le contenu, tandis que les autoriser garde la marque éligible pour être citée dans les réponses IA. Notre propre robots.txt accueille GPTBot, ClaudeBot et PerplexityBot pour exactement cette raison.
Questions fréquentes
Comment créer un fichier robots.txt ?
Choisissez si tous les robots peuvent explorer par défaut, réglez tout moteur de recherche, crawler IA ou bot SEO pour autoriser ou bloquer, listez les chemins à garder hors des crawlers, comme /admin/ ou /cart/, et collez l'adresse de votre sitemap. Cliquez sur générer, copiez le résultat dans un fichier texte brut nommé robots.txt et téléchargez-le à la racine de votre domaine.
Dois-je bloquer les crawlers IA comme GPTBot et ClaudeBot ?
Cela dépend de ce que vous voulez des outils IA. Bloquer les crawlers d'entraînement garde le nouveau contenu hors de l'entraînement futur par les entreprises qui respectent robots.txt, mais les assistants répondent de plus en plus avec des citations, et les bots axés sur les réponses comme PerplexityBot décident si vos pages peuvent être citées. Beaucoup d'entreprises bloquent les bots d'entraînement et autorisent les bots de réponse. Décidez par bot, pas tous à la fois.
Où télécharger le fichier robots.txt ?
Enregistrez la sortie comme un fichier texte brut nommé robots.txt et téléchargez-le à la racine de votre domaine, pour qu'il s'ouvre à https://votredomaine.com/robots.txt. Il s'applique uniquement à cet hôte et ce protocole exacts, donc un sous-domaine comme shop.votredomaine.com a besoin de son propre fichier. Après le téléchargement, ouvrez l'adresse dans un navigateur pour confirmer qu'elle se charge.
Bloquer une page dans robots.txt la supprime-t-il de Google ?
Non. Robots.txt arrête l'exploration, pas l'indexation. Si d'autres pages lient à une URL bloquée, Google peut toujours la lister, généralement sans description. Pour supprimer une page, autorisez l'exploration et ajoutez une balise robots noindex, ou protégez-la par mot de passe. Une fois qu'elle a disparu de l'index, vous pouvez la bloquer à nouveau si vous le souhaitez.
Que doit contenir un robots.txt WordPress ?
Pour la plupart des sites WordPress : autorisez tout par défaut, interdisez /wp-admin/ tout en autorisant /wp-admin/admin-ajax.php, et listez votre sitemap, que WordPress sert à /wp-sitemap.xml ou votre plugin SEO sert à /sitemap_index.xml. Ne bloquez pas /wp-content/ ou /wp-includes/, car Google a besoin du CSS et du JavaScript là pour afficher vos pages.