Twitterbot
Twitterbot wird von BotScope der Kategorie Social zugeordnet. Die Erkennung erfolgt über den User-Agent-String. Das aktuelle Muster:
Twitterbot
Social-Media-Plattformen indexieren Inhalte für ihre interne Suche und für Vorschau-Karten in Posts. Anders als Suchmaschinen-Crawler beschränken sie sich oft auf URLs die in ihrer Plattform geteilt wurden.
Sobald Twitterbot in deinen Logs auftaucht, kannst du in BotScope seine Crawl-Pfade, Status-Codes, IP-Verteilung und die zeitliche Aktivität analysieren — pro Stunde, Tag oder Woche.
robots.txt-Direktive für Twitterbot
Wenn du Twitterbot nicht crawlen lassen möchtest, ergänze folgenden Block in deiner /robots.txt. Das wirkt nur bei Bots, die robots.txt respektieren — bösartige Crawler ignorieren es.
User-agent: Twitterbot Disallow: /
Diese Seite wird mit Detail-Wissen über Twitterbot weiter angereichert.