Kostenloser Robots.txt Generator
Ein Robots.txt-Generator erstellt die Datei, die Crawlern mitteilt, welche Teile deiner Website sie besuchen dürfen. Dieser kostenlose Generator setzt einen Standard für alle Robots, erlaubt oder blockiert Suchmaschinen, KI-Crawler wie GPTBot und ClaudeBot sowie SEO-Bots, fügt blockierte Pfade und deine Sitemap hinzu und gibt dir eine fertige robots.txt zum Kopieren.
Robots.txt Generator
Technical SEO
Über dieses Tool
Ein Crawler befolgt nur die spezifischste Gruppe, die ihn benennt. Wenn du Googlebot eine eigene Gruppe gibst, ignoriert es alles in der Gruppe "User-agent: *", einschließlich deiner blockierten Pfade. Dieser Generator kümmert sich darum: Jeder Robot, den du auf "Erlauben" setzt, während der Standard alles blockiert, bekommt seine eigene Gruppe mit deinen blockierten Pfaden wiederholt, und Robots, die auf "Wie Standard" gesetzt sind, folgen einfach der Hauptgruppe.
Robots.txt steuert das Crawlen, nicht die Indexierung. Eine blockierte Seite kann immer noch in den Suchergebnissen erscheinen, wenn andere Seiten auf sie verlinken. Um eine Seite auszuschließen, lass sie crawlen und füge stattdessen ein noindex-Tag hinzu. Das Blockieren eines KI-Crawlers betrifft nur seine zukünftigen Besuche. Google-Extended ist eher ein Berechtigungstoken als ein Crawler: Das Blockieren hält deine Seiten aus dem Gemini-Training und der Grundierung heraus, ohne zu ändern, wie Google Search dich crawlt oder rankt. Google ignoriert Crawl-delay, während Bing und einige andere Crawler es beachten.
Der teure Fehler ist ein übriggebliebenes "Disallow: /" von einer Staging-Site, das eine ganze Live-Site stillschweigend blockiert. SEO SMO HUB prüft robots.txt auf jeder Client-Site vor allem anderen, und wir entscheiden über KI-Crawler mit jedem Client: Sie zu blockieren schützt Inhalte, während das Zulassen die Marke berechtigt, in KI-Antworten zitiert zu werden. Unsere eigene robots.txt begrüßt GPTBot, ClaudeBot und PerplexityBot genau aus diesem Grund.
Häufig gestellte Fragen
Wie erstelle ich eine robots.txt-Datei?
Wähle, ob alle Robots standardmäßig crawlen dürfen, stelle jede Suchmaschine, KI- oder SEO-Crawler auf erlauben oder blockieren, liste die Pfade auf, die Crawler nicht besuchen sollen, wie /admin/ oder /cart/, und füge deine Sitemap-Adresse ein. Klicke auf generieren, kopiere das Ergebnis in eine Textdatei namens robots.txt und lade sie in das Stammverzeichnis deiner Domain hoch.
Sollte ich KI-Crawler wie GPTBot und ClaudeBot blockieren?
Das hängt davon ab, was du von KI-Tools erwartest. Das Blockieren von Trainings-Crawlern hält neue Inhalte aus zukünftigem Training durch Unternehmen heraus, die robots.txt respektieren, aber Assistenten antworten zunehmend mit Zitaten, und antwortorientierte Bots wie PerplexityBot entscheiden, ob deine Seiten zitiert werden können. Viele Unternehmen blockieren Trainings-Bots und erlauben Antwort-Bots. Entscheide pro Bot, nicht alle auf einmal.
Wo lade ich die robots.txt-Datei hoch?
Speichere die Ausgabe als Textdatei namens robots.txt und lade sie in das Stammverzeichnis deiner Domain hoch, damit sie unter https://yourdomain.com/robots.txt erreichbar ist. Sie gilt nur für diesen exakten Host und dieses Protokoll, daher benötigt eine Subdomain wie shop.yourdomain.com ihre eigene Datei. Nach dem Hochladen öffne die Adresse in einem Browser, um zu bestätigen, dass sie geladen wird.
Entfernt das Blockieren einer Seite in robots.txt sie aus Google?
Nein. Robots.txt stoppt das Crawlen, nicht die Indexierung. Wenn andere Seiten auf eine blockierte URL verlinken, kann Google sie immer noch auflisten, normalerweise ohne Beschreibung. Um eine Seite zu entfernen, erlaube das Crawlen und füge ein noindex-Robots-Tag hinzu, oder schütze sie mit einem Passwort. Sobald sie aus dem Index gefallen ist, kannst du sie wieder blockieren, wenn du möchtest.
Was sollte eine WordPress robots.txt enthalten?
Für die meisten WordPress-Sites: Erlaube alles standardmäßig, blockiere /wp-admin/, während du /wp-admin/admin-ajax.php erlaubst, und liste deine Sitemap auf, die WordPress unter /wp-sitemap.xml oder dein SEO-Plugin unter /sitemap_index.xml bereitstellt. Blockiere nicht /wp-content/ oder /wp-includes/, da Google das CSS und JavaScript dort braucht, um deine Seiten zu rendern.