it-swarm.com.de

verdächtige Crawler-Aktivität

Mir ist aufgefallen, dass ich Zugriffe bekomme

66.249.66.198 - - [01/Jul/2011:17:13:46 +0200] "GET /img/clip.incubus.torrent.phtml HTTP/1.1" 404 143 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.66.198 - - [01/Jul/2011:17:13:48 +0200] "GET /img/clip.global.deejays.download.phtml HTTP/1.1" 404 143 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

diese Dateien existieren nicht und es gibt keine Datei auf meiner Website, die diesen Inhalt hat (hoffe ich).

Warum probiert GoogleBot diese Links aus?

reverse dns und whois geben an, dass 66.249.66.198 wirklich googlebot ist.

2
ithkuil
  1. Wenn der Domain-Name neu ist (Sie haben ihn kürzlich gekauft), versucht Google möglicherweise immer noch, alte URLs abzurufen (nicht, weil es sich diese Links merkt (es wird die Indizierung solcher Links aufheben, die für längere Zeit nicht funktionieren), sondern weil sie dort vorhanden sind ist immer noch eine Seite, die Links zu dieser Domain hat)

  2. Überall dort, wo diese Links veröffentlicht wurden, befindet sich möglicherweise ein Tippfehler in der URL (Domainname) und sie verweisen auf Ihre Domain (z. B. hellokitten.com anstelle von hellkitten.com).

  3. Ich bezweifle sehr, dass Google nach Malware sucht, indem es SO viele verschiedene URLs verwendet, die sehr ähnlich aussehen.

  4. Die URLs, die Sie bisher angezeigt haben, deuten darauf hin, dass sie wahrscheinlich mit einer Torrent-Site zusammenhängen. Wie wir wissen, mag Google keine Torrent-Sites mehr. Vielleicht hatte es einen Verdacht (weiß nicht, was es sein könnte) und überprüft Ihre Website auf einige häufige URLs, die es auf anderen Websites findet.

3
LazyOne

Vermutlich weil dort mal jemand verlinkt hat.

0
Quentin

Ich weiß nicht viel darüber, wie diese Spinnen funktionieren, aber Google ist sehr raffiniert. Es kann viele Gründe geben. Meiner Vermutung nach versucht Googlebot, eine Beziehung zwischen Ihrer Website und einer mit diesen Dateien herzustellen. Vielleicht vermutet es, dass sie verwandt sind, und testet das aus.

0
Brian