Vorhaben besprechen

TOOLBOX · SEO-CHECK

ROBOTS.TXTUND SITEMAP.

Sperrt Ihre robots.txt mehr als gedacht, und finden Suchmaschinen Ihre Sitemap? Domain eingeben und sehen, was die Datei für Google, Bing und KI-Crawler bewirkt.

Die Bot-Prüfung schützt die Toolbox vor automatisiertem Missbrauch.

Wir laden /robots.txt und höchstens eine Sitemap. Die Pfade aus der robots.txt und die Seiten der Sitemap rufen wir nicht ab. Ergebnisse speichern wir nicht dauerhaft.

WAS GEPRÜFT WIRD

Eine Textdatei.
Große Wirkung.

Die robots.txt entscheidet, welche Seiten Suchmaschinen und andere Crawler abrufen dürfen. Ein Tippfehler oder ein Serverfehler kann eine ganze Website aus der Suche nehmen. Maßstab ist der Standard RFC 9309.

  • 01

    Erreichbarkeit

    200, 404 oder ein Serverfehler: Davon hängt ab, ob Crawler Ihre Regeln befolgen, alles abrufen oder alles für gesperrt halten.

  • 02

    Format und Größe

    Textdatei als text/plain in UTF-8, höchstens 500 KiB. Liefert der Server stattdessen eine HTML-Seite, gelten keine Regeln.

  • 03

    Syntax

    Jede Zeile mit Feldname und Doppelpunkt, Gruppen beginnen mit User-agent, Pfade mit /. Tippfehler wie „Dissallow“ zeigt der Bericht mit Zeilennummer.

  • 04

    Wirkung je Crawler

    Für Googlebot, Bingbot, GPTBot, ClaudeBot und Google-Extended: Ist die Startseite erlaubt? Nach RFC 9309 gewinnt die längste passende Regel.

  • 05

    Interne Pfade

    Pfade wie /backup/ oder /intern/ in der robots.txt machen Bereiche erst bekannt. Wir weisen darauf hin und rufen sie nicht ab.

  • 06

    Sitemap

    Erreichbar, im richtigen Format, mit vollständigen Adressen auf dem eigenen Host, ohne Adressen, die die robots.txt gleichzeitig sperrt.

CRAWLER IM BERICHT

Wer liest
mit?

Die Produkt-Token stammen aus der Dokumentation der Anbieter. Welche Crawler Sie zulassen, entscheiden Sie; der Bericht zeigt nur, was Ihre Datei bewirkt.

  • Googlebot

    Crawler der Google-Suche, auch für Bilder, News und Discover.

    Quelle: Google Search Central

  • Bingbot

    Crawler der Bing-Suche. Gibt es eine eigene Gruppe für bingbot, gelten für ihn nur deren Regeln.

    Quelle: Bing Webmaster Blog

  • GPTBot

    Crawler von OpenAI für das Training generativer KI-Modelle.

    Quelle: OpenAI

  • ClaudeBot

    Crawler von Anthropic, der Inhalte für das Training von Modellen sammeln kann.

    Quelle: Anthropic

  • Google-Extended

    Kein eigener Crawler, sondern ein Token für die Nutzung durch Gemini. Ohne Einfluss auf die Google-Suche.

    Quelle: Google Search Central

  • Alle übrigen (*)

    Crawler ohne eigene Gruppe befolgen die Gruppe User-agent: *. Gibt es keine, gelten für sie keine Regeln.

    Quelle: RFC 9309, Abschnitt 2.2.1

BEISPIEL

Klar gegliedert.
Mit Sitemap.

Eine Gruppe je Crawler oder Crawler-Liste, darunter die Regeln. Mehrere User-agent-Zeilen hintereinander teilen sich dieselben Regeln (RFC 9309, Abschnitt 2.2.1).

  • robots.txt zum Anpassen

    Die Pfade sind Beispiele. Sperren Sie nur, was nicht in Suchmaschinen soll, und schützen Sie Internes mit einer Anmeldung.

    # Für alle Crawler: Suche und Warenkorb ausnehmen
User-agent: *
Disallow: /suche
Disallow: /warenkorb/
Allow: /suche/hilfe

# KI-Training ausschließen, Suche erlauben
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

Sitemap: https://www.example.at/sitemap.xml

  • Was der Check nicht tut

    Grenzen, die Sie kennen sollten:

    • Die Pfade aus der robots.txt rufen wir nie ab.
    • Wir laden genau eine Sitemap, keine Unter-Sitemaps eines Index und keine Seiten daraus.
    • Ob Crawler sich an Ihre Regeln halten, kann niemand von außen prüfen.
    • Den Abgleich von Sitemap und robots.txt rechnen wir für die ersten 500 Adressen.

Weitere Prüfungen derselben Domain: der Website-Sicherheitscheck mit Gesamtnote und der security.txt-Check für den Meldeweg bei Sicherheitslücken.

FRAGEN

Gut zu wissen.

Schützt die robots.txt Bereiche meiner Website?

Nein. Sie ist eine Bitte an Crawler, keine Zugriffssperre: RFC 9309 sagt ausdrücklich, dass das Protokoll kein Ersatz für Sicherheitsmaßnahmen ist und dass Pfade in der robots.txt dadurch öffentlich bekannt werden (Abschnitt 3). Interne Bereiche schützen Sie mit einer Anmeldung. Der Check weist auf Pfade hin, die nach internen Bereichen klingen, ruft sie aber nie ab.

Was ist schlimmer: keine robots.txt oder ein Fehler?

Ein Fehler. Antwortet /robots.txt mit 404 oder einem anderen 4xx-Status, dürfen Crawler nach RFC 9309 alles abrufen (Abschnitt 2.3.1.3). Antwortet sie mit einem Serverfehler (5xx) oder gar nicht, müssen Crawler annehmen, dass die ganze Website gesperrt ist (Abschnitt 2.3.1.4). Google behandelt außerdem 429 (zu viele Anfragen) wie einen Serverfehler. Eine Firewall oder ein Bot-Schutz, der /robots.txt blockiert, kann eine Website so aus der Suche nehmen.

Wirken Crawl-delay und Noindex in der robots.txt?

Nicht zuverlässig. Sie gehören nicht zu RFC 9309; Crawler dürfen solche Felder auswerten, müssen aber nicht (Abschnitt 2.2.4). Google wertet nur user-agent, allow, disallow und sitemap aus; den Code für nicht unterstützte Regeln wie noindex, nofollow und crawl-delay hat Google zum 1. September 2019 entfernt. Soll eine Seite nicht in den Suchergebnissen erscheinen, gehört ein noindex auf die Seite selbst.

Wie sperre ich KI-Crawler, ohne aus der Suche zu fallen?

Mit eigenen Gruppen für deren Produkt-Token, etwa GPTBot (OpenAI), ClaudeBot (Anthropic) oder Google-Extended. Google-Extended ist kein eigener Crawler, sondern ein Token, mit dem Sie die Nutzung Ihrer Inhalte für Gemini steuern; laut Google hat es keinen Einfluss auf die Google-Suche. Für jeden Crawler gilt die Gruppe mit seinem Namen, sonst die Gruppe „*“ (RFC 9309, Abschnitt 2.2.1). Der Check zeigt für die wichtigsten Crawler, ob die Startseite erlaubt oder gesperrt ist.

Was muss eine Sitemap erfüllen?

Laut sitemaps.org höchstens 50.000 Adressen und 50 MB je Datei, UTF-8, vollständige Adressen mit https:// und XML-Maskierung (& als &). Größere Websites teilen die Sitemap über einen Sitemap-Index auf. In der robots.txt geben Sie die Sitemap mit Sitemap: und der vollständigen Adresse an. Der Check lädt genau eine Sitemap, die erste aus der robots.txt oder sonst /sitemap.xml, höchstens 1 MB; die Seiten darin ruft er nicht ab.

Speichert TOMORIS meine Eingabe oder das Ergebnis?

Nein, nicht dauerhaft. Unser Server ruft die robots.txt und höchstens eine Sitemap ab; die geprüfte Website sieht dabei unseren Server, nicht Ihre IP-Adresse. Das Ergebnis bleibt fünf Minuten im Arbeitsspeicher, damit wiederholte Abrufe die Website nicht erneut belasten, und ist spätestens nach sechs Minuten gelöscht. Details stehen in der Datenschutzerklärung.

TOOLBOX

Weitere
Werkzeuge.

IHR NÄCHSTER SCHRITT

Ergebnis da.
Und jetzt?

Wir ordnen Befunde ein, priorisieren nach Risiko und setzen auf Wunsch um: einmalig mit EXPERTS oder laufend im Betrieb mit GRID.

Ergebnis besprechen