Crawling ist der automatische Abruf von Webseiten durch Programme, die Crawler genannt werden. Bei Google heißt dieses Programm Googlebot. Es lädt Text, Bilder und Videos von Seiten herunter, die es im Netz gefunden hat. Crawling ist die erste von drei Stufen der Google-Suche, danach folgen Indexierung und die Ausgabe von Suchergebnissen.

Wo begegnet der Begriff Unternehmen?

Meist dann, wenn eine neue Seite nicht in der Suche auftaucht, nach einem Relaunch oder wenn ein Teil der Website auffällig lange fehlt. Die Frage lautet dann zuerst: Hat Google die Seite überhaupt abgerufen? Erst danach stellt sich die Frage, ob sie in den Index aufgenommen wurde.

Wie funktioniert Crawling?

Google kennt keine vollständige Liste aller Seiten. Neue Adressen findet Googlebot vor allem auf zwei Wegen: über Links von Seiten, die Google bereits kennt, und über eine Sitemap, die der Websitebetreiber einreicht. Beim Abruf achtet der Crawler darauf, eine Website nicht zu überlasten. Antwortet der Server mit Fehlern wie HTTP 500, ist das für Googlebot ein Zeichen, langsamer zu werden. Manche Seiten ruft Google gar nicht ab, weil der Betreiber sie für Crawler gesperrt hat oder weil sie nur nach einem Login erreichbar sind. Zum Crawling gehört auch das Rendern: Google führt JavaScript mit einer aktuellen Chrome-Version aus, weil viele Websites Inhalte erst per JavaScript auf die Seite bringen.

Abgrenzung zu ähnlichen Begriffen

Indexierung: Crawling heißt abrufen. Indexierung heißt, dass Google den Inhalt auswertet und in seinen Index aufnimmt. Eine gecrawlte Seite ist nicht automatisch indexiert. Google garantiert weder das Crawling noch die Indexierung noch die Anzeige einer Seite.
Crawl-Budget: So nennt Google die Menge an URLs, die Google crawlen kann und will. Sie ergibt sich aus zwei Größen: wie viel der Server verträgt und wie groß der Bedarf an neuen Abrufen ist.

Beispiel

Ein ausgedachtes Beispiel: Ein Betrieb veröffentlicht eine neue Unterseite zu einer Leistung, verlinkt sie aber weder im Menü noch aus einem Beitrag und trägt sie nicht in die Sitemap ein. Für Googlebot gibt es dann kaum einen Weg zu dieser Adresse, außer eine fremde Website verlinkt sie. Die Seite existiert, wird aber im ungünstigen Fall nie abgerufen.

Häufige Fehlinterpretation

„Das Crawl-Budget ist für jede Website ein Thema.“ Google richtet seinen Leitfaden dazu an große Websites: für Websites mit mehr als einer Million Seiten und wöchentlich wechselnden Inhalten, für Websites ab etwa 10.000 Seiten mit täglich wechselnden Inhalten und für Websites mit vielen nicht indexierten, entdeckten URLs; die Zahlen sind laut Google grobe Richtwerte. Wer neue Seiten am Tag der Veröffentlichung gecrawlt sieht, muss sich laut Google darum nicht kümmern. Bei kleineren Websites lohnt es sich, zuerst andere Ursachen zu prüfen, etwa fehlende Links, Sperren oder den Indexierungsstatus.

Praktische Konsequenz

Jede Seite, die gefunden werden soll, braucht einen Weg, auf dem Googlebot sie erreicht: interne Links und einen Eintrag in der Sitemap. Sie darf nicht hinter einem Login liegen und nicht in der robots.txt gesperrt sein. Inhalte, die erst per JavaScript erscheinen, sollten nach dem Rendern tatsächlich auf der Seite stehen.

Weiterlesen

Wie eine Sitemap Google beim Finden der Seiten hilft, beschreibt XML Sitemap 2026. Wenn Seiten trotz allem fehlen, hilft Website wird nicht indexiert. Die technische Prüfung übernimmt CremerMedia auf der Seite SEO und GEO von CremerMedia.

Quellen

Google Search Central: So funktioniert die Google Suche und Crawling-Budget für große Websites verwalten, abgerufen am 06.11.2026.

Crawling