Google-Vertex
Google-Vertex wird von BotScope der Kategorie AI zugeordnet. Die Erkennung erfolgt über den User-Agent-String. Das aktuelle Muster:
Google-CloudVertexBot
Crawler aus Google Vertex AI — Googles Enterprise-Cloud-AI-Plattform. Wird ausgelöst, wenn Vertex-AI-Kunden deine URL als Datenquelle einbinden.
AI-Trainings-Crawler sammeln Web-Inhalte als Trainingsmaterial für Large Language Models. Sie bringen keinen direkten Traffic — dein Content landet im Modell und beeinflusst zukünftige AI-Antworten. Die meisten honorieren robots.txt, einige sind aggressiver als Suchmaschinen-Crawler.
Sobald Google-Vertex in deinen Logs auftaucht, kannst du in BotScope seine Crawl-Pfade, Status-Codes, IP-Verteilung und die zeitliche Aktivität analysieren — pro Stunde, Tag oder Woche.
robots.txt-Direktive für Google-Vertex
Wenn du Google-Vertex nicht crawlen lassen möchtest, ergänze folgenden Block in deiner /robots.txt. Das wirkt nur bei Bots, die robots.txt respektieren — bösartige Crawler ignorieren es.
User-agent: Google-CloudVertexBot Disallow: /
Diese Seite wird mit Detail-Wissen über Google-Vertex weiter angereichert.