it-swarm.com.de

Wird das Verbieten von Bots das Auffinden einer Site in Suchmaschinen erschweren?

Ich verwende Apache 2 und ein großer Teil unserer Seitenaufrufe stammt von Bots. Die meisten davon sind legitim wie Google und Bing.

Ich möchte die Protokolle analysieren und genaue Statistiken darüber erhalten, wie viele menschliche Besucher ich bekomme. Daher habe ich robots.txt vorübergehend aktualisiert, um Bots auf allen Seiten zu sperren. Ich weiß, dass dies nur teilweise effektiv ist, um den Zugriff von Bots zu verhindern, aber das ist in Ordnung.

Wie wirkt sich das Nichtzulassen von Bots auf Benutzer aus, die nach dieser Site suchen? Verhindert es, dass Nutzer die Seite bei Google finden?

7
Tensigh

Durch das Bannen von Bots erhält keine Suchmaschine den Inhalt der Website.

Letztendlich werden Sie für keine Keywords eingestuft. Es ist nahezu unmöglich, Ihre Seite bei Google zu finden. Möglicherweise erhalten Sie Empfehlungsverkehr, aber keinen organischen Verkehr.

Hinweis: Robots.txt verbietet keine Bots, fordert sie jedoch auf, die Site nicht zu indizieren und zu crawlen. Welchen großen Suchmaschinen-Bots wie Google, Yahoo & Bing folgen.

13
Sidh

Das Bannen von Bots ist eine vergebliche Aktivität. Die einzigen Bots, die robots.txt gehorchen, sind hilfreiche Bots wie Googlebot und Bingbot. Bösartige Bots oder Bots von weniger gewissenhaften Suchdiensten ignorieren Ihre robots.txt.

Das Bannen von Bots ist nur ein sicherer Weg, um das gesamte Seitenranking bei den großen Suchanbietern zu verlieren, UND Ihre Protokolle sind immer noch voller Bot-Traffic.

21
Chris Marisic

Google crawlt möglicherweise immer noch Seiten, die von robots.txt ignoriert werden, und listet sie möglicherweise sogar mit RLs mit robots.txt blockieren und Ignoriert Google robots.txt auf

3
Andrew Kelly

Es ist wahrscheinlich, dass es sehr schwierig oder unmöglich ist, Ihre Website in Suchmaschinen zu finden, da die Suchmaschinen ihre Roboter nicht senden, um zu sehen, was sich auf Ihrer Website befindet. Sie wissen nicht, welche Wörter Sie verwenden, sodass sie nur schwer erkennen können, für welche Suchanfragen Ihre Website relevant sein könnte.

Es ist jedoch möglich, dass Ihre Website weiterhin in den Suchergebnissen angezeigt wird, insbesondere wenn eine hochrangige Website über einen Link zu Ihrer Website verfügt. Google und möglicherweise andere Suchmaschinen verwenden nur die Informationen aus dem Link, um zu entscheiden, ob Ihre Website auf ihren Ergebnisseiten angezeigt wird.

3
bdsl

Die Daten aus Serverprotokollen sind begrenzt und weisen aufgrund von Faktoren wie Bots, Caching und CDN unvermeidlich ein hohes Rausch-zu-Signal-Verhältnis auf.
Das Analysieren von Seitenaufrufen ist eine Aufgabe für die Analyse von Seitentags.

1
Adria

Die richtige Antwort ist, sich nicht mit robots.txt herumzuschlagen und stattdessen Ihre Protokolle zu analysieren, indem Sie den User-Agent-Header wie in den Kommentaren erwähnt betrachten. Google, Yahoo usw. sollten sich anhand dieses Headers als Bots identifizieren. Wenn Sie Bots über robots.txt nicht zulassen, fahren Sie einen Lkw durch Ihr Suchmaschinenranking. Wie @adria sagte, gibt es Tools, die dies für Sie tun können. Sehr beliebt ist Google Analytics , hier ist, wie sie Crawler-Verkehr behandeln .

0
ErlVolton

Da ist deine erklärte Absicht zu

erhalten Sie genaue Statistiken darüber, wie viele menschliche Besucher ich bekomme.

Die passende Lösung besteht darin, einen Dienst wie Google Analytics oder New Relic zu verwenden. Sobald Sie sich angemeldet haben, fügen Sie ein JavaScript-Snippet in Ihre Seite ein (viele Suchmaschinen wie wordpress kann dies automatisch oder mit einem Plugin tun, das Informationen an den Überwachungsdienst sendet. Einmal eingerichtet, liefert ein solcher Service eine Fülle von Informationen über Ihre Besucher. Google Analytics zeichnet sich durch eine erstaunliche Detailgenauigkeit aus, mit der Benutzerinteraktionen mit Ihrer Website verfolgt werden.

Diese Dienste sind so implementiert, dass nur echte Menschen verfolgt werden. Es wäre töricht zu versuchen, das, was sie bereits so gut tun, erneut zu implementieren, und sie sind so nützlich, dass es fast töricht ist . einen solchen Dienst nicht nutzen.

0
Blake Walsh