it-swarm.com.de

AdsBot-Google-Besucherdomain, die keine Werbung mehr enthält

Bei der Analyse des von Bots auf unserer Website generierten Datenverkehrs haben wir das seltsame Problem festgestellt. Wir haben festgestellt, dass AdsBot-Google eine Domain crawlt, die wir Mitte 2016 eingestellt haben, um Werbung zu schalten.

Momentan gibt es robots.txt, um zu verhindern, dass alle Bots unsere Website crawlen, aber Anzeigenbot ignorieren diese Einstellungen trotzdem.

Wo kann ich nach weiteren Untersuchungen suchen? Ist es sicher, diese Bots mit einem HTTP-Status von 403 zu blockieren?

3
bronislav

Es ist unwahrscheinlich, dass dieser Crawler Ihrer Website Schaden zufügt. Ich würde es weiterhin zulassen. Dies müssten Sie tun, wenn Sie die Werbung wieder aufnehmen möchten.

Laut http://www.botreports.com/user-agent/adsbot-google.shtml werden die Anweisungen user-agent: * in robots.txt nicht berücksichtigt. Sie müssen die spezifischeren geben:

User-agent: AdsBot-Google
Disallow: /

Eine weitere zu überprüfende Sache ist, dass der Bot tatsächlich von Google stammt. Google hat eine IP-Adressensuchmethode, mit der überprüft wird, ob Bots tatsächlich von Google stammen: https://support.google.com/webmasters/answer/80553?hl=de Möglicherweise hat dies ein anderer Crawler beschlagnahmte das User-Agent für ruchlose Zwecke.

Wenn Sie feststellen, dass Sie blockieren möchten und robots.txt immer noch nicht funktioniert, ist ein 403-Fehler in Ordnung.

3