Die robots.txt ist eine einfache Textdatei im obersten Verzeichnis einer Website. Sie sagt Crawlern, welche Pfade sie abrufen dürfen und welche nicht. Google nennt als Hauptzweck, den Crawler-Verkehr auf einer Website zu steuern. Ein Mittel, eine Seite aus der Google-Suche herauszuhalten, ist sie ausdrücklich nicht.

Wo begegnet der Begriff Unternehmen?

Viele Content-Management-Systeme und SEO-Plugins legen die Datei automatisch an oder bieten ein Feld, um sie zu bearbeiten. Auffällig wird sie meist durch einen Fehler. Ein möglicher Fall: Eine Testumgebung war mit Disallow: / komplett gesperrt, und diese Zeile geht beim Relaunch mit auf die Live-Website.

Wie funktioniert die robots.txt?

Die Datei heißt genau robots.txt, liegt im Stammverzeichnis, etwa unter https://beispiel.de/robots.txt, und gilt nur für diesen Host, dieses Protokoll und diesen Port. Sie muss als UTF-8-Text vorliegen. Google liest höchstens 500 KiB, der Rest wird ignoriert. Ein einfaches Beispiel:

User-agent: *
Disallow: /intern/
Sitemap: https://beispiel.de/sitemap.xml

Google wertet die Felder user-agent, allow, disallow und sitemap aus. Andere Angaben wie crawl-delay unterstützt Google nicht. Widersprechen sich Regeln, gilt die genauere, gemessen an der Länge des Pfads, und bei Gleichstand die weniger strenge. Google speichert den Inhalt meist bis zu 24 Stunden zwischen. Liefert die Adresse einen 4xx-Fehler außer 429, verhält sich Google so, als gäbe es keine robots.txt, und crawlt ohne Einschränkung. Bei Serverfehlern pausiert Google das Crawling zunächst. Für den ursprünglichen Standard verweist Google auf RFC 9309.

Abgrenzung zu ähnlichen Begriffen

Noindex: Noindex hält eine Seite aus dem Index. Dafür muss Google sie abrufen dürfen, sonst sieht es die Anweisung nicht.
Passwortschutz: Wer Inhalte wirklich verbergen will, schützt sie auf dem Server mit einem Passwort. Die robots.txt ist öffentlich lesbar und wird nicht von allen Crawlern befolgt.
Canonical: Er zeigt bei doppelten Inhalten die Hauptversion. Eine robots.txt-Sperre ersetzt ihn nicht.

Häufige Fehlinterpretation

„Was in der robots.txt gesperrt ist, verschwindet aus Google.“ Eine gesperrte URL kann trotzdem in den Suchergebnissen erscheinen, dann ohne Beschreibung. Das passiert etwa, wenn andere Websites auf sie verlinken. Hinzu kommt: Nicht jede Suchmaschine unterstützt die Regeln, und verschiedene Crawler lesen die Syntax unterschiedlich.

Praktische Konsequenz

Die robots.txt ist ein Werkzeug für Crawling, nicht für Sichtbarkeit. Sinnvoll ist sie für Bereiche, deren Abruf keinen Nutzen hat, und für Bild-, Video- und Audiodateien, die nicht in der Suche erscheinen sollen. CSS- und JavaScript-Dateien bleiben besser abrufbar, wenn Google die Seite ohne sie schlechter verstehen würde. Nach jeder Änderung an der Website lohnt ein Blick in die Datei, ob noch eine alte Komplettsperre darin steht.

Weiterlesen

Wenn Seiten nicht in der Suche ankommen und die robots.txt als Ursache infrage kommt, hilft Website wird nicht indexiert. Unterstützung bei der technischen Prüfung gibt es auf der Seite SEO und GEO von CremerMedia.

Quellen

Google Search Central: Einführung in robots.txt und So interpretiert Google die robots.txt-Spezifikation, abgerufen am 06.11.2026.

Robots.txt