Das Wichtigste in Kürze:
- Das Crawl Budget bestimmt, wie viele Seiten Google pro Zeiteinheit auf Ihrer Website crawlt
- Verschwendetes Crawl Budget führt dazu, dass wichtige Seiten später oder gar nicht indexiert werden
- Durch technische Optimierungen lenken Sie Googlebot gezielt auf Ihre wertvollsten Inhalte
Ihre neue Produktseite ist seit Wochen online, aber Google zeigt sie einfach nicht in den Suchergebnissen an. Oder Ihre Blog-Artikel brauchen Monate, bis sie indexiert werden. Das Problem könnte Ihr Crawl Budget sein – eine oft übersehene technische Komponente, die darüber entscheidet, ob und wann Google Ihre Inhalte findet.
Für kleine Websites mit wenigen hundert Seiten spielt das Crawl Budget selten eine Rolle. Bei größeren Websites mit tausenden oder zehntausenden Seiten wird es jedoch zum entscheidenden Faktor für die Sichtbarkeit in Google.
Was ist das Crawl Budget und warum ist es begrenzt?
Google setzt für jede Website ein Limit, wie viele Seiten der Googlebot in einem bestimmten Zeitraum abrufen darf. Dieses Limit nennt sich Crawl Budget und setzt sich aus zwei Faktoren zusammen: der Crawl-Kapazität, die Ihr Server verkraftet, ohne langsamer zu werden, und dem Crawl-Bedarf, also wie wichtig Google Ihre Inhalte einschätzt.
Wenn Googlebot bei jedem Besuch nur 500 Seiten crawlen kann, Ihre Website aber 10.000 Seiten hat, dauert es zwanzig Besuche, bis alle Seiten einmal gecrawlt wurden. Neue Inhalte müssen warten, bis sie an der Reihe sind. Schlimmer noch: Wenn Googlebot seine Zeit mit unwichtigen Seiten verschwendet, werden Ihre besten Inhalte möglicherweise nie gecrawlt.
Anzeichen für Crawl-Budget-Probleme
Nicht jede Website hat ein Crawl-Budget-Problem. Die Google Search Console verrät, ob Sie betroffen sind. Unter "Einstellungen" finden Sie die Crawling-Statistiken, die zeigen, wie viele Seiten täglich gecrawlt werden und wie sich dieser Wert entwickelt.
Ein Problem besteht, wenn neue Seiten Wochen brauchen, um indexiert zu werden, obwohl sie intern gut verlinkt sind. Ebenso kritisch ist es, wenn wichtige Seiten als "Gecrawlt, aber nicht indexiert" erscheinen, während unwichtige Seiten problemlos im Index landen. Auch ein plötzlicher Rückgang der täglich gecrawlten Seiten deutet auf Probleme hin.
Bei kleinen Websites unter 1.000 Seiten mit schnellem Server und guter Struktur ist das Crawl Budget selten ein Thema. Die Optimierung lohnt sich vor allem für E-Commerce-Shops, große Content-Portale und Websites mit vielen dynamisch generierten Seiten.
Crawl-Verschwendung identifizieren und beseitigen
Googlebot verschwendet Crawl Budget, wenn er Zeit auf Seiten verbringt, die keinen Mehrwert bieten. Die häufigsten Ursachen lassen sich mit einem technischen Audit aufdecken und beheben.
Parameter-URLs sind einer der größten Übeltäter. Wenn Ihre Suche oder Filterung URLs wie /produkte?farbe=rot&groesse=m&sortierung=preis erzeugt, entstehen schnell tausende Kombinationen mit identischem oder sehr ähnlichem Inhalt. Nutzen Sie Canonical Tags, um Google die bevorzugte Version zu zeigen, oder blockieren Sie Parameter-URLs in der robots.txt.
Veraltete und entfernte Seiten binden ebenfalls Ressourcen. Wenn Googlebot immer wieder 404-Fehler oder Weiterleitungsketten durcharbeiten muss, fehlt diese Zeit für aktuelle Inhalte. Prüfen Sie regelmäßig auf 404-Fehler und Weiterleitungen und bereinigen Sie diese konsequent.
Auch interne Suche-Ergebnisseiten, Kalenderansichten mit endlosen Datumsoptionen oder Session-IDs in URLs fressen Crawl Budget ohne jeden SEO-Nutzen. Diese Bereiche gehören in die robots.txt oder sollten mit dem noindex-Tag versehen werden.
Die richtigen Signale für Googlebot setzen
Statt nur Verschwendung zu reduzieren, können Sie Googlebot aktiv auf Ihre wichtigsten Seiten lenken. Die XML-Sitemap ist dabei das wichtigste Werkzeug. Sie sollte nur indexierbare Seiten enthalten, die tatsächlich ranken sollen. Eine aufgeblähte Sitemap mit tausenden unwichtiger URLs ist kontraproduktiv.
Die interne Verlinkung beeinflusst ebenfalls, welche Seiten Googlebot priorisiert. Seiten, die von vielen anderen Seiten verlinkt werden, erscheinen wichtiger und werden häufiger gecrawlt. Stellen Sie sicher, dass Ihre Top-Seiten maximal zwei bis drei Klicks von der Startseite entfernt sind und gut in die interne Verlinkungsstruktur eingebunden sind.
Die robots.txt steuert, welche Bereiche Googlebot überhaupt betreten darf. Blockieren Sie alle Verzeichnisse, die keine für Google relevanten Inhalte enthalten: Admin-Bereiche, interne Suche, Login-Seiten, Warenkorb und Checkout. Aber Vorsicht: Blockierte Seiten können nicht ranken und vererben keinen Linkjuice.
Server-Performance als Crawl-Faktor
Je schneller Ihr Server antwortet, desto mehr Seiten kann Googlebot in derselben Zeit crawlen. Eine Serverantwortzeit von unter 200 Millisekunden ist ideal. Wenn Ihr Server bei jedem Request eine Sekunde braucht, crawlt Google nur ein Fünftel so viele Seiten.
Die Crawling-Statistiken in der Search Console zeigen die durchschnittliche Antwortzeit Ihres Servers. Liegt dieser Wert dauerhaft über 500 Millisekunden, sollten Sie in besseres Hosting investieren oder Ihre Website-Performance optimieren. Caching, CDNs und Datenbankoptimierung können die Antwortzeiten drastisch verbessern.
Auch die Website-Geschwindigkeit insgesamt spielt eine Rolle. Googlebot bewertet, wie ressourcenintensiv das Crawlen Ihrer Seiten ist. Schlanke, schnell ladende Seiten werden bevorzugt behandelt.
Häufig gestellte Fragen
Wie finde ich heraus, ob mein Crawl Budget ein Problem ist?
Prüfen Sie in der Google Search Console unter "Einstellungen > Crawling-Statistiken", wie viele Seiten täglich gecrawlt werden. Vergleichen Sie dies mit der Gesamtzahl Ihrer indexierbaren Seiten. Wenn wichtige Seiten wochenlang nicht indexiert werden oder die Crawl-Rate plötzlich sinkt, haben Sie wahrscheinlich ein Problem.
Sollte ich alle unwichtigen Seiten mit noindex versehen?
Noindex verhindert die Indexierung, aber Googlebot crawlt die Seite trotzdem. Für echte Crawl-Budget-Optimierung ist die robots.txt effektiver, weil sie das Crawlen komplett verhindert. Nutzen Sie noindex für Seiten, die gecrawlt werden müssen, aber nicht im Index erscheinen sollen.
Wie schnell wirken Crawl-Budget-Optimierungen?
Änderungen an robots.txt und Sitemap werden meist innerhalb weniger Tage berücksichtigt. Die Auswirkungen auf die Indexierung können jedoch Wochen dauern. Beobachten Sie die Crawling-Statistiken über mindestens einen Monat, bevor Sie weitere Änderungen vornehmen.
Beeinflusst die mobile Version mein Crawl Budget?
Ja, seit dem Mobile-First-Indexing crawlt Google primär Ihre mobile Version. Stellen Sie sicher, dass die mobile Seite genauso schnell und vollständig wie die Desktop-Version ist. Fehlende Inhalte auf Mobile werden als fehlend behandelt.