Google-Extended

Google-Extended wird von BotScope der Kategorie AI zugeordnet. Die Erkennung erfolgt über den User-Agent-String. Das aktuelle Muster:

Google-Extended

Opt-out-Crawler für AI-Trainingsdaten (Bard/Gemini). Wenn du deine Inhalte vom Google-AI-Training ausschließen willst, blockiere ihn in deiner robots.txt: User-agent: Google-Extended\nDisallow: /. Das beeinflusst NICHT die normale Google-Suche.

AI-Trainings-Crawler sammeln Web-Inhalte als Trainingsmaterial für Large Language Models. Sie bringen keinen direkten Traffic — dein Content landet im Modell und beeinflusst zukünftige AI-Antworten. Die meisten honorieren robots.txt, einige sind aggressiver als Suchmaschinen-Crawler.

BotScope ordnet Google-Extended-Requests deiner Session-Timeline zu — du erkennst Bursts, kannst sie pro Pfad filtern und vergleichen mit anderen Bots derselben Kategorie.

robots.txt-Direktive für Google-Extended

Wenn du Google-Extended nicht crawlen lassen möchtest, ergänze folgenden Block in deiner /robots.txt. Das wirkt nur bei Bots, die robots.txt respektieren — bösartige Crawler ignorieren es.