MetadataScraper

MetadataScraper wird von BotScope der Kategorie Scraper zugeordnet. Die Erkennung erfolgt über den User-Agent-String. Das aktuelle Muster:

MetadataScraper

Generische HTTP-Clients oder Scraper haben keinen offiziellen Bot-Charakter und werden meistens für individuelles Web-Scraping verwendet. Sie respektieren robots.txt in der Regel nicht und sollten nach Bedarf blockiert werden.

BotScope aggregiert alle MetadataScraper-Anfragen in deiner Session: welche URLs er bevorzugt, wie viele 4xx/5xx-Antworten er bekommt, ob er aus einer oder vielen IPs crawlt, und in welchem Zeitfenster er besonders aktiv ist.

Diese Seite wird mit Detail-Wissen über MetadataScraper weiter angereichert.

Ähnliche Crawler in derselben Kategorie

Weitere Crawler entdecken