Meta-ExternalFetcher
Meta-ExternalFetcher wird von BotScope der Kategorie User-Bot zugeordnet. Die Erkennung erfolgt über den User-Agent-String. Das aktuelle Muster:
meta-externalfetcher
User-initiierte AI-Bots werden ausgelöst, wenn ein echter Mensch dem AI-Assistenten eine Frage stellt und das System deine Seite live abruft, um die Antwort zu generieren. Jeder Hit ist ein Hinweis: deine Inhalte sind gerade in einer AI-Antwort gelandet.
Sobald Meta-ExternalFetcher in deinen Logs auftaucht, kannst du in BotScope seine Crawl-Pfade, Status-Codes, IP-Verteilung und die zeitliche Aktivität analysieren — pro Stunde, Tag oder Woche.
robots.txt-Direktive für Meta-ExternalFetcher
Wenn du Meta-ExternalFetcher nicht crawlen lassen möchtest, ergänze folgenden Block in deiner /robots.txt. Das wirkt nur bei Bots, die robots.txt respektieren — bösartige Crawler ignorieren es.
User-agent: meta-externalfetcher Disallow: /
Diese Seite wird mit Detail-Wissen über Meta-ExternalFetcher weiter angereichert.