Facebook wird von BotScope der Kategorie Social zugeordnet. Die Erkennung erfolgt über den User-Agent-String. Das aktuelle Muster:
(facebookexternalhit|Facebot)
Social-Media-Plattformen indexieren Inhalte für ihre interne Suche und für Vorschau-Karten in Posts. Anders als Suchmaschinen-Crawler beschränken sie sich oft auf URLs die in ihrer Plattform geteilt wurden.
Im BotScope-Dashboard siehst du für Facebook: Top-Pfade, Status-Verteilung, Bytes-Volumen und ob die User-Agent-Signatur über die Zeit stabil bleibt oder rotiert.
robots.txt-Direktive für Facebook
Wenn du Facebook nicht crawlen lassen möchtest, ergänze folgenden Block in deiner /robots.txt. Das wirkt nur bei Bots, die robots.txt respektieren — bösartige Crawler ignorieren es.
User-agent: facebookexternalhit Disallow: /
Diese Seite wird mit Detail-Wissen über Facebook weiter angereichert.
🟢Aktiver Crawlerheute zuletzt gesehen · 28.05.2026
Beliebte Crawler nach Kategorie
Ähnliche Crawler in derselben Kategorie
TwitterbotSocial
LinkedInBotSocial
PinterestBotSocial
Meta-ExternalAgentSocial
TikTokSpiderSocial
RedditbotSocial