it-swarm.com.de

Alle Suchmaschinen außer den großen blockieren

Ich möchte irgendwie in der Lage sein, alle Suchmaschinen außer Google, Yahoo und Bing (und die damit verbundenen Websites wie Google Images) daran zu hindern, meine Website zu crawlen, da sie viel Server und Bandbreite verbrauchen, aber keinen Datenverkehr verursachen.

Ist das einfach oder schwierig? Es wäre gut, wenn jemand eine Liste kleiner Suchmaschinen führen würde, die in eine robots.txt-Datei eingefügt werden könnten, um sie zu blockieren.

Außerdem ist mir klar, dass ich Crawler, die robots.txt oder Sites ignorieren, nicht daran hindern kann, heimlich zu kratzen und zu crawlen, aber das ist nicht das, was ich will. Ich möchte nur verhindern, dass alle Altavistas, Hotbots, Lycos (gibt es diese überhaupt noch) und die Crawler der Universitätsversuche meine Zeit verschwenden.

2
Craig

Was hast du bisher versucht?

Mit dem webmaster tools robots.txt generator habe ich folgendes gemacht:

User-agent: *
Disallow: /

User-agent: Googlebot
Allow: /

Aber ich habe es nicht getestet.

3
delete

Wie groß ist das Problem wirklich?

Die Bots, um die Sie sich Sorgen machen sollten, sind die Bots, die sich nicht an die Regeln halten und sich als regelmäßige Besucher ausgeben.

Suchmaschinenverkehr ist legitim und wie Dan betonte, startete Google auch als kleines Universitätsprojekt. Es ist nicht wirklich fair, die kleinen Leute zu diskriminieren, und möglicherweise auf lange Sicht nicht klug.

Die Antwort von Kinopiko wird funktionieren und mit den Webmastertools von Google können Sie Ihre robot.txt (Site-Konfiguration, Crawler-Zugriff) erstellen und testen. Ich bin jedoch der Meinung, dass Ihr derzeitiges Hosting möglicherweise ein Problem darstellt, wenn der Datenverkehr von echten Suchmaschinen auftritt Lösung ist nicht viel.

3
Sylver

Für diejenigen, die die Regeln nicht befolgen, können Sie versuchen, sie in Ihren Protokollen zu finden und sie dann nach IP zu blockieren.

Im Allgemeinen können Sie einen Bot daran erkennen, dass er die Seiten zu schnell liest, um menschlich zu sein.

1
Sruly