Audit de Crawl de Site Web (Mini Crawler de Site)
Cet audit de crawl de site gratuit commence à une URL, suit les liens internes et vérifie jusqu'à 25 pages en 20 secondes. Le rapport liste chaque page avec son statut HTTP, titre, description et statut H1, redirections et balises noindex, et affiche les liens internes qui pointent vers des pages cassées. C'est une vérification rapide de la santé, pas un crawl complet.
Audit de Crawl de Site Web
Technical SEO
À propos de cet outil
Un audit de site commence généralement par un crawl, un robot qui se déplace de lien en lien comme le ferait un moteur de recherche et enregistre ce qu'il trouve. Les pages cassées, les chaînes de redirection, les pages sans titre et les pages bloquées par une balise noindex accidentelle sont faciles à repérer une fois les données dans un tableau, et très difficiles à repérer en naviguant.
Ce mini crawler commence à l'adresse que vous entrez et suit les liens internes sur le même hôte, www et non-www traités comme un seul. Il s'arrête à 25 pages ou 20 secondes, selon ce qui arrive en premier, et respecte les règles robots.txt pour tous les crawlers. Pour chaque page, vous voyez le code de statut, les sauts de redirection, le titre, si une description et un H1 existent, et si la page est définie sur noindex. Un deuxième tableau liste les liens internes pointant vers des pages qui ont retourné une erreur.
C'est un échantillon, pas un inventaire. Les grands sites ont des milliers de pages, donc le rapport affiche les pages les plus proches de l'URL de départ, qui sont généralement les plus importantes. Les liens vers les pages au-delà des 25 explorées ne sont pas testés. Chaque crawl est mis en cache pendant une heure, et l'outil partage une petite allocation de récupération horaire par visiteur, donc exécutez-le sur la page de départ qui compte le plus.
Questions fréquentes
Comment le mini crawler choisit-il les pages à vérifier ?
Il lit la page de départ, collecte ses liens internes, et les visite dans l'ordre où ils apparaissent, puis suit les liens trouvés sur ces pages. Les pages de la navigation principale et près du haut sont visitées en premier. Il s'arrête à 25 pages ou quand le budget de 20 secondes est épuisé.
Pourquoi le crawl s'est-il arrêté avant 25 pages ?
Soit le budget de temps de 20 secondes a été dépassé, soit le site a moins de pages accessibles via les liens de la page de départ, soit robots.txt en a bloqué certaines, soit l'allocation de récupération horaire pour votre connexion a été utilisée. Le rapport indique quelle raison s'applique.
Qu'est-ce qu'une chaîne de redirection et pourquoi est-ce important ?
Une chaîne de redirection est une URL qui redirige vers une autre URL qui redirige à nouveau. Chaque saut ajoute du délai pour les visiteurs et les crawlers, et les longues chaînes peuvent être abandonnées. Mettez à jour les liens internes pour qu'ils pointent directement vers l'adresse finale, et limitez les redirections à un seul saut.
Est-ce un remplacement pour Screaming Frog ou Search Console ?
Non. Un crawler de bureau vérifie chaque page, rend JavaScript et exporte les données complètes, et Search Console affiche ce que Google a réellement exploré et indexé. Utilisez cet outil pour un premier coup d'œil rapide à un site, puis utilisez ceux-ci pour la profondeur. C'est gratuit et ne nécessite pas d'installation.