Crawl-Budget-Optimierung: So crawlt Google deine Website schneller
Die wichtigsten Erkenntnisse
- Crawl-Budget ist die Anzahl der Seiten, die Google in einem bestimmten Zeitraum auf deiner Website crawlt, eine endliche Ressource bei großen Websites.
- Bei Websites mit weniger als 10.000 Seitenist Crawl-Budget selten ein Problem. Bei größeren Websites (E-Commerce, Publisher, SaaS) ist es entscheidend.
- Die größten Crawl-Budget-Verschwender sind facettierte Navigation, Parameter-URLs, doppelte Inhalte, Weiterleitungsketten und Soft-404s.
- Optimiere dein Crawl-Budget, indem du Googlebot zu hochwertige Seiten leitest und den Zugriff auf wenig wertvolle, doppelte oder technische Seiten blockierst.
- Die Server-Response-Zeit wirkt sich direkt auf die Crawl-Rate aus, schnellere Server werden häufiger gecrawlt.
Inhaltsverzeichnis
Jedes Mal, wenn Googlebot deine Website besucht, hat es eine begrenzte Menge an Ressourcen zur Verfügung. Es kann nicht jede URL unbegrenzt crawlen, es muss priorisieren. Bei kleinen Websites ist das selten ein Problem. Aber bei großen Websites mit tausenden oder Millionen von Seiten kann die richtige Verwaltung des Crawl-Budgets entscheidend sein, ob deine wichtigsten Seiten innerhalb von Stunden indexiert werden oder für Wochen ignoriert werden.
Was ist Crawl-Budget?
Crawl-Budget wird durch zwei Komponenten bestimmt:
- Crawl-Ratenlimit: Die maximale Crawl-Geschwindigkeit, die Google verwendet, ohne deinen Server zu überlasten. Dies wird automatisch angepasst, basierend auf den Response-Zeiten und der Kapazität deines Servers.
- Crawl-Nachfrage: Wie sehr Google Ihre Website crawlen möchte, basierend auf URL-Popularität, Content-Aktualität und seitenweit Ereignissen (wie eine Sitemap-Aktualisierung oder größere Inhaltsänderungen).
Ihr effektives Crawl-Budget ist die Schnittmenge dieser beiden Faktoren. Wenn Ihr Server langsam ist, reduziert Google die Crawl-Rate, um Probleme zu vermeiden. Wenn Ihr Content selten ändert, reduziert Google die Crawl-Nachfrage, weil es nichts Neues zu entdecken gibt.
Ist Crawl-Budget für Ihre Website relevant?
| Größe der Website | Crawl-Budget Priorität | Erforderliche Maßnahme |
|---|---|---|
| < 1.000 Seiten | Niedrig | Konzentrieren Sie sich stattdessen auf Content und Links |
| 1.000 bis 10.000 Seiten | Niedrig bis Mittel | Basis-Optimierung (saubere Sitemaps, Fehler beheben) |
| 10.000 bis 100.000 Seiten | Mittel bis Hoch | Aktives Crawl-Budget-Management erforderlich |
| 100.000+ Seiten | Kritisch | Fortgeschrittene Optimierung essentiell für Indexierung |
Wie Google entscheidet, was gecrawlt wird
Google priorisiert das Crawlen basierend auf mehreren Signalen:
- URL-Popularität: Seiten mit mehr Backlinks und Traffic werden häufiger gecrawlt
- Content-Aktualität: Seiten, die sich häufig ändern, werden öfter neu gecrawlt
- Sitemap-Signale: Seiten in Ihrer XML-Sitemap mit aktuellen lastmod-Daten haben Vorrang
- Interne Link-Tiefe: Seiten näher an der Startseite (weniger Klicks entfernt) werden schneller entdeckt
- Signale für Seitenwichtigkeit: Google nutzt PageRank und weitere Signale, um hochwertige Seiten zu priorisieren
Top 10 Crawl-Budget-Verschwender
- Facettierte Navigation: Kombinationen von Farb-, Größen- und Preisfiltern, die Millionen URL-Variationen erzeugen
- URL-Parameter: Tracking-Parameter, Session-IDs und Sortiervorgaben, die doppelte URLs erzeugen
- Doppelte Content-Seiten: Mehrere URLs mit identischem Content ohne Canonical-Tags
- Redirect-Ketten: A→B→C→D verschwendet Crawl-Ressourcen bei jedem Hop
- Soft-404-Seiten: Seiten mit Status 200, die Fehler oder leere Inhalte anzeigen
- Interne Suchergebnis-Seiten: Tausende von Low-Value-Such-URLs werden gecrawlt
- Unendliche Kalender-Seiten: Kalender-Widgets generieren endlos URLs für vergangene und zukuenftige Daten
- Tag/Kategorie-Archiv-Aufblaeherung: Hunderte duenne Tag-Seiten mit sich ueberlappenden Inhalten
- Langsame Server-Antwort: Hohe TTFB bedeutet, dass Google weniger Seiten pro Besuch crawlt
- Gehackte/Spam-Seiten: Injizierte Spam-Seiten verbrauchen Crawl-Budget, das fuer echte Inhalte vorgesehen ist
Crawl-Budget-Optimierungsstrategien
Low-Value-URLs blockieren
- Nutzen Sie robots.txt, um facettierte Navigation, interne Suche und Parameter-URLs zu disallowieren
- Setzen Sie noindex auf duenne/Low-Value-Seiten, die Sie behalten, aber nicht ranken moechten
- Verwenden Sie das URL-Parameter-Tool der Google Search Console, um anzugeben, wie Parameter behandelt werden sollen
Server-Performance verbessern
- Streben Sie TTFB unter 200ms an - Google crawlt schneller auf reaktionsschnellen Servern
- Verwenden Sie HTTP/2 fuer gemultiplexte Verbindungen
- Implementieren Sie serverseitiges Caching, um Antwortzeiten fuer wiederholte Anfragen zu verkuerzen
- Erwaegen Sie ein CDN, um die Latenz fuer Googlebot zu reduzieren (der von US-basierten IPs crawlt)
Interne Verlinkung optimieren
- Stellen Sie sicher, dass wichtige Seiten maximal 3 Klicks von der Startseite entfernt sind
- Beheben oder entfernen Sie fehlerhafte interne Links (sie verschwenden Crawl-Budget auf Sackgassen)
- Nutzen Sie Breadcrumbs und kontextuelle Links, um effiziente Crawl-Pfade zu schaffen
Sitemaps sauber halten
- Fuehren Sie nur kanonische, indexierbare URLs in Ihre Sitemap auf
- Aktualisieren Sie lastmod-Daten nur, wenn sich Inhalte tatsaechlich aendern (spammen Sie keine falschen Daten)
- Entfernen Sie 404-, weitergeleitete und noindexierte URLs aus Sitemaps
- Teilen Sie grosse Sitemaps in kategoriebezogene Sitemap-Index-Dateien auf
So ueberwachen Sie Ihr Crawl-Budget
| Tool | Was es anzeigt | Kosten |
|---|---|---|
| Google Search Console (Crawl-Statistiken) | Gesamtanfragen, Statuscodes, Dateitypen, Googlebot-Typen, durchschnittliche Antwortzeit | Kostenlos |
| Server-Log-Analyse | Exakte Seiten, Crawl-Frequenz, User Agents, Status-Codes | Kostenlos (Eigenständig) |
| Screaming Frog Log Analyzer | Visuelle Log-Analyse, Crawl-Frequenz-Mapping, Bot-Identifikation | Ab £99/Jahr |
| Oncrawl | Enterprise-Log-Analyse mit Crawl-Budget-Insights | Ab $69/Monat |
Fazit
Crawl-Budget-Optimierung bedeutet, jeden Besuch von Googlebot optimal zu nutzen. Lenke den Bot auf deine wertvollsten Seiten, eliminiere Verschwendung bei unwichtigen URLs und stelle sicher, dass dein Server die Crawl-Anforderungen von Google effizient bewältigen kann. Bei großen Websites kann das den Unterschied zwischen Indexierung in Stunden und Indexierung in Monaten ausmachen.
Brauchst du Hilfe bei Technical SEO?
Unser Team führt umfassende Crawl-Audits durch und implementiert Optimierungen, die deine wichtigen Seiten schneller indexieren. Spezialisiert auf große E-Commerce- und Publisher-Websites.
Kostenloses Crawl-Audit anfordern →
Kommentare
Haben Sie eine Frage oder eigene Erfahrung? Diskutieren Sie mit. Ihre E-Mail wird nie gezeigt oder weitergegeben.
Exactly what we needed. Our team was debating the best strategy.
Good point. The combination of proper structure and testing makes all the difference for this strategy.