it-swarm.com.de

Gibt es eine gute Möglichkeit, alle Roboter und Domänen, auf denen sie sich befinden, zu filtern?

Ich habe mehr am Bot-Filter für meine Website gearbeitet, aber er ist keineswegs vollständig.

Bisher habe ich die wichtigsten:

Google, Yahoo, MSN, Baidu, Amazon und einige andere ...

Im Moment verwende ich einen Filter, um die Verweis-URL, die vorhandene Domain und bekannte Browser mit Benutzern zu vergleichen, die keine Browser sind.

Gibt es andere gute Techniken, um festzustellen, ob der Treffer von einem Bot kommt oder nicht?

3
Talvi Watia

Gibt es andere gute Techniken, um festzustellen, ob der Treffer von einem Bot kommt oder nicht?

Es kommt darauf an, welche Arten von Bots Sie jagen - hier einige Tipps zum Isolieren von böswilligen Bots:

  • Suchen Sie nach Treffern für nicht vorhandene (oder eingeschränkte) Verwaltungsskripte, E-Mail-Skripte usw.
  • Suchen Sie nach einem nahezu sofortigen Abruf Ihrer Website-Inhalte
  • Suchen Sie nach wiederholten Treffern in Ihren Feeds (insbesondere, wenn Sie wissen, dass Ihre Inhalte auf Scraper-Websites verwendet werden).

Sie können auch ser-agent.org für einige der dunkeleren Such-Bot-Agenten, die Sie erwarten können, lesen und überprüfen Wo finde ich eine Liste der Suchmaschinen-Crawler-Benutzeragenten?) und ihre Domainnamen? Thread, der vor ein paar Tagen von Dev gestartet wurde.

1
danlefree