Claude-SearchBot
Claude-SearchBot wird von BotScope der Kategorie AI zugeordnet. Die Erkennung erfolgt über den User-Agent-String. Das aktuelle Muster:
Claude-SearchBot
AI-Trainings-Crawler sammeln Web-Inhalte als Trainingsmaterial für Large Language Models. Sie bringen keinen direkten Traffic — dein Content landet im Modell und beeinflusst zukünftige AI-Antworten. Die meisten honorieren robots.txt, einige sind aggressiver als Suchmaschinen-Crawler.
Im BotScope-Dashboard siehst du für Claude-SearchBot: Top-Pfade, Status-Verteilung, Bytes-Volumen und ob die User-Agent-Signatur über die Zeit stabil bleibt oder rotiert.
robots.txt-Direktive für Claude-SearchBot
Wenn du Claude-SearchBot nicht crawlen lassen möchtest, ergänze folgenden Block in deiner /robots.txt. Das wirkt nur bei Bots, die robots.txt respektieren — bösartige Crawler ignorieren es.
User-agent: ClaudeBot Disallow: /
Diese Seite wird mit Detail-Wissen über Claude-SearchBot weiter angereichert.