Yandexbot
Yandexbot wird von BotScope der Kategorie Search zugeordnet. Die Erkennung erfolgt über den User-Agent-String. Das aktuelle Muster:
Yandex(Bot|Webmaster|SiteLinks|Images|Video)
Suchmaschinen-Crawler indexieren öffentlich verfügbare Inhalte für ihre Suchergebnisse. Sie fetchen typischerweise zuerst /robots.txt und respektieren crawl-delay sowie Disallow-Regeln. Hohe Crawl-Frequenz korreliert in der Regel mit guter Sichtbarkeit in den jeweiligen Suchergebnissen.
Im BotScope-Dashboard siehst du für Yandexbot: Top-Pfade, Status-Verteilung, Bytes-Volumen und ob die User-Agent-Signatur über die Zeit stabil bleibt oder rotiert.
robots.txt-Direktive für Yandexbot
Wenn du Yandexbot nicht crawlen lassen möchtest, ergänze folgenden Block in deiner /robots.txt. Das wirkt nur bei Bots, die robots.txt respektieren — bösartige Crawler ignorieren es.
User-agent: Yandex Disallow: /
Diese Seite wird mit Detail-Wissen über Yandexbot weiter angereichert.