Crawl Budget
Die begrenzte Anzahl an URLs, die ein Suchmaschinen-Bot innerhalb eines bestimmten Zeitraums auf Ihrer Website crawlt, bestimmt durch Crawl-Rate und Crawl-Nachfrage.
Crawl Budget bezeichnet die begrenzte Anzahl an URLs, die Suchmaschinen (vor allem Google) innerhalb eines bestimmten Zeitraums auf Ihrer Website crawlen. Es wird durch zwei Hauptfaktoren bestimmt: die Crawl-Rate-Limit (wie viel Crawling Googlebot durchführen kann, ohne Ihren Server zu überlasten) und die Crawl-Nachfrage (wie stark Google Ihre Seiten crawlen möchte, basierend auf Popularität, Aktualitätssignalen und Veralterung).
Für die meisten kleinen bis mittelgroßen Websites (mit weniger als einigen tausend URLs) ist das Crawl Budget selten ein Problem – Googlebot kann problemlos jede Seite crawlen. Das Problem tritt bei großen Websites auf: E-Commerce mit 100.000+ Produktseiten, Nachrichtenseiten mit Millionen von Artikeln oder Katalogen mit facettierter Navigation. Wenn das Crawl Budget aufgebraucht ist, bevor alle wichtigen Seiten gecrawlt wurden, dauert es länger, bis neue Seiten indexiert werden, Updates bestehender Seiten werden nur langsam erfasst, und verwaiste Seiten werden möglicherweise nie entdeckt.
Häufige Ursachen für Crawl-Budget-Verschwendung: Seiten mit geringer Qualität oder dünnem Inhalt (gefilterte/parameterbasierte URLs, Session-IDs, interne Suchergebnisse), Redirect-Ketten und -Schleifen, Soft-404-Seiten, Duplicate Content ohne Canonical-Tag, durch robots.txt blockierte, aber intern verlinkte Seiten sowie langsame Server-Antwortzeiten (TTFB über 500 ms). Die Lösung ist technischer Natur: Nutzen Sie robots.txt und Meta-Robots, um nicht wertvolle URLs zu blockieren, setzen Sie Canonical-Tags bei nahezu identischen Inhalten, beheben Sie Redirect-Ketten, verbessern Sie die Server-Antwortzeiten und pflegen Sie eine saubere XML-Sitemap, die nur die URLs enthält, die indexiert werden sollen.
Um Ihre Crawl-Statistiken zu überwachen, nutzen Sie den Bericht „Crawl-Statistiken“ in den Einstellungen der Google Search Console. Dort sehen Sie Anfragen pro Tag, Download-Größe und Antwortzeit. Wenn Ihre täglichen Anfragen stagnieren, während die Anzahl Ihrer Seiten wächst, haben Sie eine Crawl-Budget-Grenze erreicht.