Adzuna
Adzuna wird von BotScope der Kategorie Jobs zugeordnet. Die Erkennung erfolgt über den User-Agent-String. Das aktuelle Muster:
Adzunabot
Job-Aggregator-Crawler holen Stellenanzeigen für Plattformen wie Indeed oder StepStone. Crawl-Frequenz steigt mit der Anzahl deiner Stellen.
BotScope ordnet Adzuna-Requests deiner Session-Timeline zu — du erkennst Bursts, kannst sie pro Pfad filtern und vergleichen mit anderen Bots derselben Kategorie.
robots.txt-Direktive für Adzuna
Wenn du Adzuna nicht crawlen lassen möchtest, ergänze folgenden Block in deiner /robots.txt. Das wirkt nur bei Bots, die robots.txt respektieren — bösartige Crawler ignorieren es.
User-agent: Adzunabot Disallow: /
Diese Seite wird mit Detail-Wissen über Adzuna weiter angereichert.