FriendlyCrawler
FriendlyCrawler wird von BotScope der Kategorie AI zugeordnet. Die Erkennung erfolgt über den User-Agent-String. Das aktuelle Muster:
FriendlyCrawler
AI-Trainings-Crawler sammeln Web-Inhalte als Trainingsmaterial für Large Language Models. Sie bringen keinen direkten Traffic — dein Content landet im Modell und beeinflusst zukünftige AI-Antworten. Die meisten honorieren robots.txt, einige sind aggressiver als Suchmaschinen-Crawler.
BotScope aggregiert alle FriendlyCrawler-Anfragen in deiner Session: welche URLs er bevorzugt, wie viele 4xx/5xx-Antworten er bekommt, ob er aus einer oder vielen IPs crawlt, und in welchem Zeitfenster er besonders aktiv ist.
Diese Seite wird mit Detail-Wissen über FriendlyCrawler weiter angereichert.