it-swarm.com.de

Enthält der Benutzeragent in einem normalen Browser "bot" oder "crawlen"?

Enthält der Benutzeragent in einem normalen Browser "bot" oder "crawlen"?

Ich überprüfe den Benutzeragenten auf meiner Website, um festzustellen, ob er von einem Bot stammt oder nicht. Wenn ja, kann ich ein paar kleine Optimierungen vornehmen, da sie sich nicht anmelden. (Ich ändere den Inhalt überhaupt nicht)

Nachdem ich Schecks für 30-40 + Bots hinzugefügt habe, habe ich es satt, sie hinzuzufügen. Also habe ich mich gefragt, ob es nur "Bot" oder "Crawl" enthält. Ich weiß, dass es nicht alle Bots geben wird, aber es würde eine Menge von ihnen geben. Wenn dies jedoch zu Fehlalarmen führen könnte, würde dies die Möglichkeit, Artikel in den Warenkorb zu legen, eine Bestellung aufzugeben und sich einzuloggen, völlig beeinträchtigen.

9
Echo

Laut der Liste unter http://www.useragentstring.com/pages/useragentstring.php?typ=Browser mit über 9000 User Agent Strings aus verschiedenen Browsern:

  • 0 User-Agent-Zeichenfolgen von Browsern enthalten das Wort "bot"
  • 2 User-Agent-Zeichenfolgen von Browsern enthalten das Wort "Crawl"
  • 0 User-Agent-Zeichenfolgen von Browsern enthalten das Wort "Spinne"

(Die 2, die "Crawl" enthält, lautet wie folgt: "Mozilla/4.0 (kompatibel; MSIE 5.01; Windows NT 5.0; YComp 5.0.2.6; MSIECrawler)" und "Mozilla/4.0 (kompatibel)" ; MSIE 5.01; Windows NT 5.0; MSIECrawler) "Ich denke, es ist sicher, diese nicht zu berücksichtigen.)

Laut der Liste unter http://www.useragentstring.com/pages/useragentstring.php?typ=Crawler mit 442 User Agent Strings, die als Bots aufgelistet sind:

  • 208 User-Agent-Strings von Bots enthalten das Wort "bot"
  • 63 User-Agent-Zeichenfolgen von Bots enthalten das Wort "Crawl"
  • 37 User-Agent-Bots enthalten das Wort "spider"
  • 282 User-Agent-Bots enthalten entweder "bot", "crawl" oder "spider"

Mein Fazit: Es ist sicher, Bots nach User-Agent-Zeichenfolgen nach den Wörtern "bot", "crawl" und "spider" zu filtern. Es ist nicht kugelsicher, aber definitiv besser als nichts.

Hinweis: Bei der Suche nach Schlüsselwörtern wurde die Groß- und Kleinschreibung nicht beachtet.

12

Eine bessere Lösung IMO wäre zu erkennen, ob der Benutzer angemeldet ist. Wenn dies nicht der Fall ist, zeigen Sie die Standardseite (dies könnte zwischengespeichert werden). Jeder Web-Spider wird niemals angemeldet, aber wenn Sie ihn optimieren, warum nicht für neue Benutzer Ihrer Site?

2
DisgruntledGoat

Diese Frage von Stack Overflow sollte helfen: " Gibt es eine Online-Benutzeragentendatenbank? "

Sie können die Datenbank schnell scannen und herausfinden (oder importieren).

0
Michael Pryor