Robots.txt Tester
Dieser kostenlose Robots.txt-Tester lädt die live robots.txt einer Website herunter, wendet Googles Matching-Regeln an und zeigt Ihnen, ob der von Ihnen gewählte Crawler (Googlebot, Bingbot, GPTBot, ClaudeBot, PerplexityBot und mehr) eine bestimmte URL abrufen darf, welche Regel dies entscheidet, welche User-Agent-Gruppe gilt und welche Sitemaps die Datei auflistet. Die Datei selbst wird zur Überprüfung angezeigt.
Robots.txt Tester
Technical SEO
Über dieses Tool
Eine falsche Zeile in robots.txt kann eine ganze Website vor Google verbergen, und es passiert häufiger als zugegeben: ein Disallow: / von der Staging-Phase übrig geblieben, eine Regel für einen Ordner, die hundert trifft, oder eine Blockade von CSS und JavaScript, die Google beim Rendern von Seiten stoppt. Dieselbe Datei entscheidet nun auch, welche KI-Crawler Ihre Inhalte lesen dürfen, daher verdient sie einen ordentlichen Test statt eines flüchtigen Blicks.
Der Tester ruft die robots.txt im Root-Verzeichnis der Domain ab, analysiert sie so wie Google (Gruppen nach User-Agent, die eigene Gruppe des Crawlers gewinnt über die *-Gruppe, die längste passende Regel gewinnt, Allow gewinnt bei Gleichstand, * und $ sind Platzhalter) und bewertet den Pfad, den Sie für den von Ihnen gewählten Crawler angeben. Er benennt die entscheidende Regel, zeigt, welche Gruppe verwendet wurde, listet jede Sitemap-Zeile auf und gibt die Datei aus, damit Sie die Regeln im Kontext lesen können.
Robots.txt steuert das Crawling, nicht die Indexierung: Eine blockierte Seite kann immer noch in den Ergebnissen erscheinen, wenn andere Websites auf sie verlinken, und eine Seite, die Sie entfernen möchten, benötigt stattdessen ein noindex-Tag oder eine Entfernungsanfrage. Crawler außer Google können Platzhalter unterschiedlich interpretieren, und Regeln in der Datei gelten nur für den Host, von dem sie abgerufen wurden, daher benötigen www und non-www jeweils ihre eigene.
Häufig gestellte Fragen
Entfernt das Blockieren einer Seite in robots.txt sie aus Google?
Nein. Robots.txt hindert Google daran, die Seite abzurufen, aber wenn andere Seiten auf sie verlinken, kann Google die URL möglicherweise immer noch ohne Beschreibung auflisten. Um eine Seite aus den Ergebnissen zu halten, lassen Sie Google sie crawlen und fügen Sie ein noindex-Meta-Tag oder einen Header hinzu, oder verwenden Sie das Entfernungstool in der Search Console.
Wie blockiere ich KI-Crawler wie GPTBot oder ClaudeBot?
Fügen Sie eine Gruppe für jeden hinzu: User-agent: GPTBot gefolgt von Disallow: /, und dasselbe für ClaudeBot, CCBot oder Google-Extended. Jeder Crawler hat sein eigenes Token und seine eigene Gruppe. Denken Sie daran, dass das Blockieren von KI-Crawlern Ihre Inhalte auch aus KI-Suchantworten heraushält, daher entscheiden Sie, was Sie möchten, bevor Sie alles blockieren.
Welche Regel gewinnt, wenn Allow und Disallow beide passen?
Google verwendet die spezifischste Regel, d. h. den längsten passenden Pfad. Wenn beide gleich lang sind, gewinnt Allow. So erlaubt Disallow: /blog/ mit Allow: /blog/guide die Guide-Seite. Platzhalter zählen nach ihrer buchstäblichen Länge, daher kann eine Regel mit * gegen einen längeren einfachen Pfad verlieren.
Warum ignoriert Google meine Crawl-delay-Zeile?
Google unterstützt Crawl-delay nicht und hat es nie getan; es setzt seine eigene Crawl-Rate, die Sie in der Search Console senken können. Bing und Yandex respektieren es. Der Tester meldet nur Allow-, Disallow- und Sitemap-Zeilen, da dies das ist, was Google liest.
Meine robots.txt gibt 404 zurück. Ist das ein Problem?
Nicht an sich: Eine fehlende robots.txt bedeutet, dass alles gecrawlt werden kann. Eine robots.txt, die einen Serverfehler (5xx) zurückgibt, ist schlimmer, da Google möglicherweise das Crawlen der Website stoppt, bis sie wiederhergestellt ist. Wenn Sie nichts blockieren müssen, stellen Sie eine kleine Datei mit User-agent: * und einem leeren Disallow bereit, plus Ihre Sitemap-Zeile.