Gesperrte Crawler-Pfade sehen
Sofort erkennen, welche Pfade für Googlebot, Bingbot oder alle Crawler gesperrt sind — bevor eine falsche Regel wichtige Seiten aus dem Index verdrängt.
Robots.txt-Tester
robots.txt beliebiger Sites abrufen und analysieren. Crawl-Regeln, gesperrte Pfade, deklarierte Sitemaps und den Rohinhalt auf einen Blick.
Warum robots.txt testen?
Deklarierte Sitemaps finden
robots.txt ist der Standardplatz für Sitemap-URLs. Prüfen, ob deine Sitemap eingetragen ist, damit Crawler sie automatisch finden.
Fehlkonfigurationen erkennen
Ein einzelnes Disallow: / sperrt jeden Crawler von der gesamten Site. Kritische Fehler finden, bevor sie das Ranking ruinieren.
Was ist robots.txt — und warum ist sie wichtig?
robots.txt ist eine Textdatei im Root-Verzeichnis deiner Domain, die Crawlern mitteilt, welche URLs sie abrufen dürfen. Sie ist eines der ersten Dinge, die Googlebot beim Besuch einer Site abruft — eine falsche Konfiguration kann die gesamte Site stillschweigend aus dem Index sperren.
Wie funktioniert robots.txt?
Die Datei nutzt ein einfaches Format: User-agent-Zeilen geben an, für welchen Crawler die Regeln gelten (* bedeutet alle), gefolgt von Disallow- und Allow-Direktiven für Pfadmuster. Crawler sollen diese Regeln respektieren, auch wenn sie technisch nicht erzwungen werden.
robots.txt vs. noindex
Ein Disallow in robots.txt verhindert das Crawlen, aber nicht unbedingt die Indexierung — eine Seite kann trotzdem in den Ergebnissen erscheinen, wenn andere Sites auf sie verlinken. Für Indexierungssperren noindex-Meta-Tag direkt auf der Seite setzen.
Typische robots.txt-Fehler
Disallow: / sperrt alles. /wp-admin/ zu sperren ist sinnvoll; /wp-content/ zu sperren kann Bilder und Assets verstecken. Fehlende Sitemap:-Direktive bedeutet, Crawler müssen raten. Nach Änderungen immer testen.
Wie funktioniert dieser Tester?
URL eingeben — wir rufen robots.txt vom Root-Domain ab, parsen alle User-agent-Blöcke, listen Allow- und Disallow-Regeln auf, markieren Sitemap-Deklarationen und zeigen die Rohdatei, damit du genau siehst, was Crawler sehen.
Auch die Sitemap prüfen mit unserem Sitemap-Check.
Robots.txt FAQ
URL oben eingeben für Live-Ergebnisse — oder die Abschnitte unten zu Syntax und Best Practices lesen.
Immer im Root der Domain: https://example.com/robots.txt. Subdomains brauchen eine eigene Datei. Eine robots.txt in einem Unterverzeichnis wird von Crawlern ignoriert.