Crawl-Budget
Das Crawl-Budget ist die Menge an Seitenabrufen, die eine Suchmaschine einer Website innerhalb eines Zeitraums widmet. Es ergibt sich aus der technischen Belastbarkeit des Servers und dem eingeschätzten Bedarf der Website – bei großen oder unaufgeräumten Auftritten wird es zum Engpass.
Das Crawl-Budget beschreibt die Ressourcen-Seite der technischen Indexierungs-Steuerung: Während robots.txt, XML-Sitemap und Canonical-Tag die Richtung vorgeben, begrenzt es die Menge der Abrufe, die überhaupt zur Verfügung stehen.
In einfachen Worten
Suchmaschinen rufen Websites weder vollständig noch beliebig oft ab. Wie viele Abrufe ein Auftritt erhält, richtet sich nach zwei Größen: der Belastbarkeit des Servers – antwortet er schnell und fehlerfrei, steigt die Frequenz – und dem eingeschätzten Bedarf, also wie oft sich Inhalte ändern und wie relevant die Website wirkt. Dieses Kontingent verteilt sich auf alle erreichbaren Adressen. Genau daran kranken unaufgeräumte Websites: Parameter-Varianten, Dubletten, Weiterleitungsketten und Fehlerseiten verbrauchen Abrufe, ohne dass indexierbare Inhalte hinzukommen – wichtige neue oder geänderte Seiten werden entsprechend später gefunden. Die Steuerung setzt an beiden Enden an: Die robots.txt hält Crawler von wertlosen Bereichen fern, die XML-Sitemap lenkt sie zu den relevanten Adressen, und eine saubere Adress-Struktur ohne doppelte Inhalte sorgt dafür, dass jeder Abruf einen Inhalt trifft, der die Aufnahme in den Index verdient.
Wozu brauche ich das?
Praktisch relevant wird das Crawl-Budget für Websites mit vielen Adressen – Shops mit Filternavigation, Portale mit Archiven, Auftritte mit über Jahre gewachsenem Bestand. Bei kompakten Firmen-Websites mit überschaubarer Seitenzahl ist das Kontingent selten der Engpass; dort dient der Blick auf die Abruf-Statistik vor allem der Diagnose, etwa wenn neue Inhalte auffällig spät in der Suche erscheinen.
Beispiel aus der Praxis
Ein Fachhändler betreibt einen Shop mit mehreren tausend Artikeln und einer Filternavigation für Größe, Farbe und Material. Die Auswertung der Server-Protokolle zeigt: Ein Großteil der Suchmaschinen-Abrufe entfällt auf Filter-Kombinationen, die nie als Suchtreffer erscheinen sollen – während neue Artikel teils erst nach Wochen im Index auftauchen. Die Bereinigung sperrt die Filter-Adressen für Crawler, meldet Neuzugänge über eine aktuell gehaltene XML-Sitemap und löst eine Kette veralteter Weiterleitungen auf. Danach konzentrieren sich die Abrufe auf Artikel- und Kategorieseiten, und Neuzugänge erscheinen spürbar zügiger in der Suche.
Wirtschaftlicher Nutzen
Für Websites, deren Geschäft von aktueller Sichtbarkeit abhängt – neue Produkte, Angebote, Stellenanzeigen –, entscheidet die Crawl-Effizienz mit darüber, wie schnell Inhalte den Markt erreichen. Verschwendete Abrufe verzögern genau diese Aufnahme. Die Bereinigung wirkt doppelt: Sie beschleunigt die Indexierung des Wichtigen und entlastet zugleich den Server von Abruf-Lasten ohne Gegenwert.
Typische Fehler
- Filter- und Sortier-Adressen unbegrenzt crawlbar gelassen – ein großer Teil der Abrufe entfällt auf Varianten ohne Suchwert.
- Weiterleitungsketten über mehrere Stationen aufgebaut – jeder Zwischenschritt kostet einen eigenen Abruf.
- Fehlerseiten und verwaiste Adressen nie bereinigt – Crawler kehren immer wieder zu totem Bestand zurück.
- Das Crawl-Budget bei einer kleinen Website zum Hauptproblem erklärt – dort liegen die Ursachen langsamer Indexierung meist an anderer Stelle.
- Langsame Server-Antwortzeiten ignoriert – die Suchmaschine senkt daraufhin die Abruf-Frequenz.
Worauf achten?
- Server-Protokolle oder Crawl-Statistiken regelmäßig auswerten: Welche Adressen rufen Suchmaschinen tatsächlich ab?
- Bereiche ohne Suchwert – interne Suche, Filter-Kombinationen, Sitzungs-Varianten – per robots.txt sperren.
- Die XML-Sitemap aktuell halten, damit Neues und Geändertes schnell gefunden wird.
- Weiterleitungen direkt ans Ziel führen und bestehende Ketten auflösen.
- Antwortzeiten und Fehlerraten des Servers im Blick behalten – sie bestimmen die Abruf-Frequenz mit.
Häufig gestellte Fragen
Was ist das Crawl-Budget?
Die Menge an Seitenabrufen, die eine Suchmaschine einer Website innerhalb eines Zeitraums widmet. Sie ergibt sich aus der Belastbarkeit des Servers und dem eingeschätzten Bedarf der Website.
Ist das Crawl-Budget für kleine Websites relevant?
Selten als Engpass: Auftritte mit wenigen hundert Seiten werden in der Regel vollständig gecrawlt. Relevant wird das Thema ab vielen tausend Adressen oder wenn Technik-Varianten die Abrufe binden.
Wie erkenne ich verschwendetes Crawl-Budget?
In Server-Protokollen und den Crawl-Statistiken der Suchmaschinen: Entfällt ein großer Teil der Abrufe auf Parameter-Varianten, Weiterleitungen oder Fehlerseiten, geht Kontingent verloren, das den Inhalts-Seiten fehlt.
Wie lässt sich das Crawl-Budget erhöhen?
Direkt kaum – die Suchmaschine legt es selbst fest. Beeinflussbar sind die Rahmenbedingungen: schnelle und fehlerfreie Server-Antworten, regelmäßig aktualisierte Inhalte und eine Struktur, in der jeder Abruf einen indexwürdigen Inhalt trifft.