it-swarm.com.de

Wo finde ich eine Liste der Suchmaschinen-Crawler-Benutzeragenten und ihrer Domänennamen?

Ich versuche, dem Ansatz von stackoverflow zu folgen, ein weiße Liste für die Sitemap zu verwenden. Ich habe versucht, eine umfangreiche Liste von Suchmaschinen-Crawlern (und anderen Crawlern) zu finden, die in meiner Whitelist verwendet werden können. Was ich bisher gefunden habe, sind veraltete Informationen (seit Jahren nicht mehr aktualisiert). Gibt es eine Stelle im Internet, an der ich eine regelmäßig aktualisierte Liste finden kann, die den Benutzeragenten jedes Suchmaschinen-Crawlers zusammen mit seinem Domain-Namen (für Reverse-DNS) enthält?

Vielen Dank

3
Dev
1
John Conde

Die Frage, auf die Sie verwiesen haben, gibt an, dass der Beantworter die Benutzeragenten selbst in die Positivliste aufgenommen hat, nicht die Domains oder IP-Adressen, die bestimmten Spinnen zugeordnet sind.

Es sieht so aus, als ob ser-agents.org eine vollständige Liste enthält, wenn Sie vorhaben, mit der Benutzeragentenzeichenfolge zu arbeiten.

1
danlefree

Vielleicht ist ein besserer Ansatz als der Versuch, jede Suchmaschine auf die Whitelist zu setzen, die großen drei (Google, Yahoo, Bing) und möglicherweise die Frage (von denen bekannt ist, dass sie auch Sitemaps unterstützen).

Das Whitelisten aller scheint eine lange, harte und letztendlich vergebliche Aufgabe zu sein. Sie können immer noch protokollieren, wer an die Tür klopft, und Ihre Liste danach erweitern.

0
jmb