it-swarm.com.de

Feststellen, ob es sich bei der IP-Adresse wirklich um die IP von Google handelt

Nach dem, was ich in meinen Serverprotokollen erfahren habe, gehören IP-Adressen, die mit 64.249 beginnen, zu Google. Wenn ich auf meinem Computer eine Host-Suche nach Google durchführe, erhalte ich 11 verschiedene IP-Adressen, die mit 74.125.226 beginnen.

Ich gehe dann hier http://www.iplists.com/ und finde heraus, dass es eine Menge weiterer IP-Adressen für Google gibt.

Ich habe sogar eine whois-Suche in einer Eingabeaufforderung für Google durchgeführt und "Abbruch der Suche 50 Datensätze gefunden ....." zusammen mit einer ganzen Reihe von Servern mit ungewöhnlichen Namen wie GOOGLE.COM.ANGRYPIRATES.COM und GOOGLE.COM angezeigt. AFRICANBATS.ORG. zusammen mit verschiedenen IP-Adressen, die ich noch nicht gesehen habe, wie zum Beispiel 91.218.229.20.

Was ich tun möchte, ist die Whitelist für echte Google-IP-Adressen. Sollte ich einfach jede einzelne IP-Adresse, die ich bisher gefunden habe, auf die weiße Liste setzen oder gibt es andere Vorsichtsmaßnahmen, die ich treffen sollte, bevor ich eine Google-Adresse aufschreibe?

Ich möchte mich nicht darauf verlassen, dass andere nach IP-Adressen für mich suchen, z. B. nach der Quelle http://www.iplists.com/ , da sich die IP-Adressen jederzeit ändern können und ich sie aktualisieren möchte meine weiße Liste häufig.

7
Mike

Aus dem offizielle Dokumente zur Verifizierung von Googlebot/Google :

Beachten Sie, dass Google die Verwendung einer statischen "Whitelist" nicht empfiehlt.

Sie können überprüfen, ob ein Webcrawler, der auf Ihren Server zugreift, tatsächlich ein Googlebot oder ein anderer Google-User-Agent ist. Dies ist nützlich, wenn Sie befürchten, dass Spammer oder andere Störenfriede auf Ihre Website zugreifen, während Sie sich als Googlebot ausgeben. Google veröffentlicht keine öffentliche Liste von IP-Adressen für Webmaster in der Whitelist. Dies liegt daran, dass sich diese IP-Adressbereiche ändern können und Probleme für alle Webmaster verursachen, die sie fest codiert haben. Führen Sie daher eine DNS-Suche durch, wie im Folgenden beschrieben.

So verifizieren Sie Googlebot als Anrufer:

  1. Führen Sie mithilfe des Befehls Host eine Reverse-DNS-Suche für die IP-Adresse aus, auf die in Ihren Protokollen zugegriffen wird.
  2. Stellen Sie sicher, dass sich der Domainname in googlebot.com oder google.com befindet.
  3. Führen Sie eine Forward-DNS-Suche für den in Schritt 1 abgerufenen Domänennamen durch, indem Sie den Befehl Host für den abgerufenen Domänennamen verwenden. Vergewissern Sie sich, dass es sich um die ursprüngliche IP-Adresse handelt, auf die in Ihren Protokollen zugegriffen wurde.

(Betonung meiner eigenen)

In den Google-Dokumenten finden Sie ein Beispiel:
https://support.google.com/webmasters/answer/80553?hl=de

7
MrWhite

Das wichtigste zuerst.

Es gibt zwei Domainnamen, über die wir sprechen; Google.com und Googlebot.com. Eine umgekehrte Suche nach Google.com wäre irreführend.

Hier ist eine Antwort, die ich vor einiger Zeit gegeben habe, als ich die IP-Adressen von Google überprüft habe, mit denen meine Website über 8 Jahre gecrawlt wurde. Dies ist nicht das A und O, könnte aber einen historischen Überblick geben.

Wofür verwendet Google IPs von 173.194.90.xxx? Warum ist es kein googlebot.com-Zeiger?

In dieser Liste sehen Sie, dass der angezeigte IP-Adressbereich 64.249 korrekt ist.

Ich habe eine kurze Überprüfung für diese Antwort durchgeführt. Dies ist meine aktuelle Whitelist für Googlebot (Agentenname). Bitte verzeihen Sie die Platzhalter. Ich habe meinen Code aktualisiert, um Bereiche effizienter zu verstehen, aber die Liste nicht aktualisiert. Es tut uns leid. In diesem Fall verwende ich nur einen einfachen regulären Ausdruck, um die IP-Adresse mit der Liste zu vergleichen, und zwar mit einem Minimum an Tricks, um das * durch etwas zu ersetzen, das Regex versteht. Ich kann eine IP-Adresse mit meinem Code mit der gesamten Liste vergleichen, sodass sie immer noch schnell genug ist.

64.233.160.*
64.233.161.*
64.233.162.*
64.233.163.*
64.233.164.*
64.233.165.*
64.233.166.*
64.233.167.*
64.233.168.*
64.233.169.*
64.233.170.*
64.233.171.*
64.233.172.*
64.233.173.*
64.233.174.*
64.233.175.*
64.233.176.*
64.233.177.*
64.233.178.*
64.233.179.*
64.233.180.*
64.233.181.*
64.233.182.*
64.233.183.*
64.233.184.*
64.233.185.*
64.233.186.*
64.233.187.*
64.233.188.*
64.233.189.*
64.233.190.*
64.233.191.*
66.249.64.*
66.249.65.*
66.249.66.*
66.249.67.*
66.249.68.*
66.249.69.*
66.249.70.*
66.249.71.*
66.249.72.*
66.249.73.*
66.249.74.*
66.249.75.*
66.249.76.*
66.249.77.*
66.249.78.*
66.249.79.*
66.249.80.*
66.249.82.*
66.249.83.*
66.249.84.*
66.249.85.*
66.249.86.*
66.249.87.*
66.249.88.*
66.249.89.*
66.249.90.*
66.249.91.*
66.249.92.*
66.249.93.*
66.249.94.*
66.249.95.*
74.125.*
173.194.*

GOOGLE.COM.ANGRYPIRATES.COM und GOOGLE.COM.AFRICANBATS.ORG sind so genannte Domain- oder Sub-Domain-Hacks. Diese gehören überhaupt nicht zu Google. Dies kann jeder jederzeit mit jedem Domainnamen tun. Ohne näher darauf eingehen zu müssen, finden Sie Informationen im Internet. Ich möchte dieses Verhalten nicht fördern, indem ich es hier erkläre.

4
closetnoc