Feedfetcher
Feedfetcher wird von BotScope der Kategorie Scraper zugeordnet. Die Erkennung erfolgt über den User-Agent-String. Das aktuelle Muster:
Feedfetcher-Google
Crawler für RSS/Atom-Feeds — wird unter anderem von Google News, Google Discover und Drittparteien-Subscribern verwendet. Wichtig für Blogs.
Generische HTTP-Clients oder Scraper haben keinen offiziellen Bot-Charakter und werden meistens für individuelles Web-Scraping verwendet. Sie respektieren robots.txt in der Regel nicht und sollten nach Bedarf blockiert werden.
BotScope aggregiert alle Feedfetcher-Anfragen in deiner Session: welche URLs er bevorzugt, wie viele 4xx/5xx-Antworten er bekommt, ob er aus einer oder vielen IPs crawlt, und in welchem Zeitfenster er besonders aktiv ist.
Diese Seite wird mit Detail-Wissen über Feedfetcher weiter angereichert.