Talent.com
Talent.com wird von BotScope der Kategorie Jobs zugeordnet. Die Erkennung erfolgt über den User-Agent-String. Das aktuelle Muster:
(talentBot|neuvoo)
Job-Aggregator-Crawler holen Stellenanzeigen für Plattformen wie Indeed oder StepStone. Crawl-Frequenz steigt mit der Anzahl deiner Stellen.
BotScope aggregiert alle Talent.com-Anfragen in deiner Session: welche URLs er bevorzugt, wie viele 4xx/5xx-Antworten er bekommt, ob er aus einer oder vielen IPs crawlt, und in welchem Zeitfenster er besonders aktiv ist.
robots.txt-Direktive für Talent.com
Wenn du Talent.com nicht crawlen lassen möchtest, ergänze folgenden Block in deiner /robots.txt. Das wirkt nur bei Bots, die robots.txt respektieren — bösartige Crawler ignorieren es.
User-agent: talentBot User-agent: neuvoo Disallow: /
Diese Seite wird mit Detail-Wissen über Talent.com weiter angereichert.