Scrapy
Scrapy wird von BotScope der Kategorie Scraper zugeordnet. Die Erkennung erfolgt über den User-Agent-String. Das aktuelle Muster:
Scrapy
Generische HTTP-Clients oder Scraper haben keinen offiziellen Bot-Charakter und werden meistens für individuelles Web-Scraping verwendet. Sie respektieren robots.txt in der Regel nicht und sollten nach Bedarf blockiert werden.
Im BotScope-Dashboard siehst du für Scrapy: Top-Pfade, Status-Verteilung, Bytes-Volumen und ob die User-Agent-Signatur über die Zeit stabil bleibt oder rotiert.
robots.txt-Direktive für Scrapy
Wenn du Scrapy nicht crawlen lassen möchtest, ergänze folgenden Block in deiner /robots.txt. Das wirkt nur bei Bots, die robots.txt respektieren — bösartige Crawler ignorieren es.
User-agent: Scrapy Disallow: /
Diese Seite wird mit Detail-Wissen über Scrapy weiter angereichert.