Googlebot (Desktop)

Googlebot (Desktop) wird von BotScope der Kategorie Search zugeordnet. Die Erkennung erfolgt über den User-Agent-String. Das aktuelle Muster:

Googlebot(?![-/]Image|[-/]Video|[-/]News)

⭐ Googlebot (Desktop) ist der historisch ältere und sekundäre Index-Crawler. Bis 2018 war er der primäre, wurde dann durch Mobile-First abgelöst. Heute crawlt er deutlich seltener als die Smartphone-Variante, ist aber weiterhin aktiv für Desktop-spezifische Features (z.B. Featured Snippets in Desktop-SERPs).

Suchmaschinen-Crawler indexieren öffentlich verfügbare Inhalte für ihre Suchergebnisse. Sie fetchen typischerweise zuerst /robots.txt und respektieren crawl-delay sowie Disallow-Regeln. Hohe Crawl-Frequenz korreliert in der Regel mit guter Sichtbarkeit in den jeweiligen Suchergebnissen.

BotScope aggregiert alle Googlebot (Desktop)-Anfragen in deiner Session: welche URLs er bevorzugt, wie viele 4xx/5xx-Antworten er bekommt, ob er aus einer oder vielen IPs crawlt, und in welchem Zeitfenster er besonders aktiv ist.

robots.txt-Direktive für Googlebot (Desktop)

Wenn du Googlebot (Desktop) nicht crawlen lassen möchtest, ergänze folgenden Block in deiner /robots.txt. Das wirkt nur bei Bots, die robots.txt respektieren — bösartige Crawler ignorieren es.