it-swarm.com.de

Schwerwiegender Googlebot-Crawling-Anstieg, der eine Menge Bandbreite beansprucht

Auf einer der von mir gepflegten Websites hat Googlebot in diesem Monat 23 GB Bandbreite verwendet.

Das scheint mir völlig im Kopf zu sein, was kann ich dagegen tun?

Ich habe die Crawling-Rate für Webmaster-Tools gesenkt und robots.txt bearbeitet und eine Sitemap gesendet.

Ein ernsthafter Spike wie dieser fühlt sich an wie ein Hack. Könnte man Googlebot fälschen?

1
Mild Fuzz

Es ist sehr einfach, einen User-Agent-Header zu fälschen und sich als Google Bot auszugeben. Aber viel schwerer zu fälschen die I.P. von dem die Anfrage kommt.

Stellen Sie sicher, dass die IPs, die diese Anfrage stellen, im Besitz von Google sind.

8
Andy Smith

Der Googlebot folgt nicht der Crawling-Rate (wie von den Webmaster-Tools von Google gemeldet). Aber es ist trotzdem gut für andere Bots zu setzen. Suchen Sie auf Seiten nach potenziellen Endlosschleifen (z. B. Suchergebnisse oder Artikellisten mit unterschiedlichen Sortier-/Filtermethoden usw.) und weisen Sie ihnen noindex oder nofollow und/oder einer Link-Seite rel=canonical zu Google sieht sie also nur einmal.

3
Doug Gibson