it-swarm.com.de

IIS Dynamic IP Restrictions Module und Googlebot

Ich erwäge, IIS Dynamic IP Restrictions Module zu verwenden, um DoS-Angriffe (Denial of Service) zu erschweren. Aber ich bin mir nicht sicher, wie das für Suchmaschinen-Bots wie Googlebot funktionieren würde.

Irgendeine Idee?

5
tugberk

In den Kommentaren wurde erwähnt, dass dies durch Whitelisting von Googles User Agent erfolgen könnte. Dies ist eine schlechte Idee: Viele Bots können sich als solche ausgeben und dann in der Lage sein, Ihre Website zu optimieren.

In der Featureliste dieses Skripts werden anscheinend zwei Kriterien verwendet, um festzustellen, ob es sich um einen Dos-Angriff handelt:

  • Die Anzahl gleichzeitiger Anforderungen.
  • Die Anzahl der Anfragen über einen bestimmten Zeitraum.

Bei Google können Sie diese beiden Dinge problemlos auf unter den Schwellenwert beschränken, den das Skript verwendet, indem Sie eine benutzerdefinierte Crawling-Rate in den Google Webmaster-Tools festlegen. Dies bedeutet, dass Google Ihre Website nicht so oft crawlt, aber Ihren Server nicht überlastet.

Ich bin mir nicht sicher, was Sie mit anderen Suchmaschinen tun können, außer sicherzustellen, dass die Schwellenwerte für Ihr Skript höher sind als die von ihnen verwendeten Crawling-Geschwindigkeiten.

5
user6901