it-swarm.com.de

Sollte ich Bots von meiner Website blockieren und warum?

Meine Logbücher sind voll von Bot-Besuchern, oft aus Osteuropa und China. Die Bots werden als Ahrefs, Seznam, LSSRocketCrawler, Yandex, Sogou usw. identifiziert. Soll ich diese Bots von meiner Website aus blockieren und warum?

Welche haben einen legitimen Zweck, um den Traffic auf meiner Site zu erhöhen? Viele von ihnen sind SEO.

Ich muss sagen, ich sehe weniger Verkehr, wenn überhaupt, da die Bots in großer Zahl angekommen sind.

Es wäre nicht allzu schwer, diese zu blockieren, da alle in ihrem User Agent zugeben, dass sie Bots sind.

12
Frank E

Sie können Bots blockieren, aber es hängt davon ab, was Sie für Ihre Website wollen.

Sie können Suchmaschinen-Bots blockieren, wenn Ihre Website nicht in einer bestimmten Suchmaschine indiziert werden soll.
Beispiel: Yandex ist eine russische Suchmaschine. Sie können den Bot blockieren, wenn Ihr Unternehmen nicht auf Russland abzielt.

Sie können SEO-Bots blockieren, wenn Sie ihre Webanalyse-Lösung nicht verwenden möchten.
Beispiel: Ahrefs ist eine Webanalyse-Lösung. Sie können den Bot blockieren, wenn Sie diese Webanalyse-Lösung nicht verwenden.

Grund zum Blockieren von Bots:

  • weniger Roboter gehen auf Ihre Website, und echte Besucher erhalten mehr Bandbreite
  • seien Sie sicher gegen Malware-Bots
  • protokollgröße

Grund, Bots nicht zu blockieren:

  • bots wie Suchmaschinen-Bots können Ihren Traffic erhöhen, indem sie Ihre Website indizieren.

Sie können mehr über Bots erfahren, indem Sie FAQ von robotstxt.org lesen.

Wenn Sie festlegen möchten, dass mehrere Roboter blockiert werden sollen, können Sie sich von dieser Website robots.txt inspirieren lassen.

Achtung, einige Bots können robots.txt ignorieren, weitere Informationen hier .

Fazit : Sie können die Internet-Roboterfunktion durchsuchen, um festzustellen, ob das Blockieren nützlich sein kann.

7
Zistoloen

Während der Versuch, Bots zu blockieren, dazu beitragen kann, Ressourcen freizugeben und Ihre Protokolle zu bereinigen, muss beachtet werden, dass robots.txt und sogar das Meta-Tag auf Seiten verwendet wird noindex hält Bots nicht davon ab, Ihre Site zu besuchen. Sie können immer noch gelegentlich Ihre Site crawlen, um festzustellen, ob die von Robotern abgelehnte entfernt wurde. Viele Bots verwenden nicht einmal einen Benutzeragenten und verwenden einen Standardbenutzeragenten. Die Bots, auf die ich mich beziehe, sind in der Regel SEO-Harvesting-Bots, die nach Backlinks suchen, und nicht die allgemeinen, die Sie von Suchmaschinen finden.

Anstatt die Bots zu blockieren, sollten Sie diese Bots nur berücksichtigen, wenn Sie Ihre Besucher zählen. Nach einer Weile der aktiven Überwachung Ihrer Website stellen Sie eine grobe Zahl fest, die Bots sind. Die meisten Leute kümmern sich um einmalige Besuche und dies schließt die Bots aus, da sie ständig zurückkehren. Heutzutage gibt es eine Vielzahl von Servern und Shared Hosting-Systemen, die diese Bots verarbeiten können. Abgesehen von Seiten, die Sie nicht indizieren möchten, gibt es keinen Grund, diese Bots zu blockieren. Natürlich haben Sie auch schädliche Bots, aber diese verwenden auf keinen Fall den User Agent.

Persönlich halte ich das Blockieren von Robotern für Zeitverschwendung, da sie überhaupt nicht so viel Ressourcen verbrauchen. SEO-Roboter können helfen, indem sie Ihre Site auf PR0-Seiten auflisten, was natürlich Ihren PageRank erhöht und dort automatisiert, sodass Sie nicht bestraft werden von ihnen.

Logs Issue

Sie sollten einen geeigneten Protokoll-Viewer verwenden, mit dem Sie bestimmte Anforderungen herausfiltern können. Dies erleichtert das Überprüfen Ihrer Protokolle. Gute Zuschauer können viele Dinge wie normale Besuche, 404s und so weiter herausfiltern.

4
Simon Hayter