Semrush
Semrush wird von BotScope der Kategorie SEO zugeordnet. Die Erkennung erfolgt über den User-Agent-String. Das aktuelle Muster:
SemrushBot
SEO-Tool-Crawler erstellen interne Datenbanken für Tools wie Ahrefs, Semrush, Sistrix oder Majestic. Sie haben keine direkte SEO-Wirkung — nur das Tool greift auf die Daten zu. Crawl-Frequenz steigt mit deiner Domain-Authority.
BotScope ordnet Semrush-Requests deiner Session-Timeline zu — du erkennst Bursts, kannst sie pro Pfad filtern und vergleichen mit anderen Bots derselben Kategorie.
robots.txt-Direktive für Semrush
Wenn du Semrush nicht crawlen lassen möchtest, ergänze folgenden Block in deiner /robots.txt. Das wirkt nur bei Bots, die robots.txt respektieren — bösartige Crawler ignorieren es.
User-agent: SemrushBot User-agent: SiteAuditBot User-agent: SemrushBot-BA User-agent: SemrushBot-SI User-agent: SemrushBot-SA User-agent: SemrushBot-SD User-agent: SemrushBot-IO User-agent: SemrushBot-News User-agent: SemrushBot-BM User-agent: SemrushBot-BotX Disallow: /
Diese Seite wird mit Detail-Wissen über Semrush weiter angereichert.