Website Crawl Audit (Mini Site Crawler)
Diese kostenlose Website Crawl Audit startet bei einer URL, folgt internen Links und prüft bis zu 25 Seiten innerhalb eines 20-Sekunden-Budgets. Der Bericht listet jede Seite mit ihrem HTTP-Status, Titel, Beschreibung und H1-Status, Weiterleitungen und noindex-Tags auf und zeigt interne Links, die zu fehlerhaften Seiten führen. Es ist eine schnelle Gesundheitsprüfung, keine vollständige Crawl.
Website Crawl Audit
Technical SEO
Über dieses Tool
Ein Site Audit beginnt normalerweise mit einem Crawl, einem Roboter, der von Link zu Link geht wie eine Suchmaschine und aufzeichnet, was er findet. Fehlerhafte Seiten, Weiterleitungsketten, Seiten ohne Titel und Seiten, die durch ein versehentliches noindex-Tag blockiert sind, lassen sich leicht erkennen, wenn die Daten in einer Tabelle vorliegen, und sehr schwer beim manuellen Durchsuchen.
Dieser Mini-Crawler startet bei der eingegebenen Adresse und folgt internen Links auf demselben Host; www und non-www werden als eins behandelt. Er stoppt bei 25 Seiten oder 20 Sekunden, je nachdem, was zuerst eintritt, und beachtet die robots.txt-Regeln für alle Crawler. Für jede Seite sehen Sie den Status-Code, Weiterleitungs-Hops, Titel, ob eine Beschreibung und ein H1 vorhanden sind, und ob die Seite auf noindex gesetzt ist. Eine zweite Tabelle listet interne Links auf, die auf Seiten mit Fehlerstatus verweisen.
Es ist eine Stichprobe, keine vollständige Bestandsaufnahme. Große Websites haben Tausende von Seiten, daher zeigt der Bericht die Seiten, die der Start-URL am nächsten sind, was normalerweise die wichtigsten sind. Links zu Seiten jenseits der 25 gecrawlten Seiten werden nicht getestet. Jeder Crawl wird eine Stunde lang zwischengespeichert, und das Tool teilt ein kleines stündliches Abruf-Budget pro Besucher, daher führen Sie es auf der Start-Seite aus, die für Sie am wichtigsten ist.
Häufig gestellte Fragen
Wie wählt der Mini-Crawler aus, welche Seiten geprüft werden?
Er liest die Start-Seite, sammelt ihre internen Links und besucht sie in der Reihenfolge, in der sie erscheinen, dann folgt er den Links auf diesen Seiten. Seiten in der Hauptnavigation und oben werden zuerst besucht. Er stoppt bei 25 Seiten oder wenn das 20-Sekunden-Budget aufgebraucht ist.
Warum hat der Crawl vor 25 Seiten gestoppt?
Entweder das 20-Sekunden-Zeit-Budget ist aufgebraucht, die Website hat weniger Seiten, die über Links von der Start-Seite erreichbar sind, robots.txt hat einige blockiert, oder das stündliche Abruf-Budget für Ihre Verbindung ist aufgebraucht. Der Bericht gibt an, welcher Grund zutrifft.
Was ist eine Weiterleitungskette und warum ist sie wichtig?
Eine Weiterleitungskette ist eine URL, die zu einer anderen URL weitergeleitet wird, die wiederum weitergeleitet wird. Jeder Hop fügt Verzögerung für Besucher und Crawler hinzu, und lange Ketten können abgebrochen werden. Aktualisieren Sie interne Links so, dass sie direkt auf die endgültige Adresse verweisen, und halten Sie Weiterleitungen auf einen Hop.
Ist dies ein Ersatz für Screaming Frog oder Search Console?
Nein. Ein Desktop-Crawler prüft jede Seite, rendert JavaScript und exportiert vollständige Daten, und Search Console zeigt, was Google tatsächlich gecrawlt und indexiert hat. Verwenden Sie dieses Tool für einen schnellen ersten Überblick über eine Website, dann verwenden Sie diese für tiefere Analysen. Es ist kostenlos und erfordert keine Installation.