it-swarm.com.de

Verhindert diese "robots.txt" -Datei wirklich jegliches Crawlen unserer Website? Ich versuche herauszufinden, warum unsere SEO so schlecht ist

Daher wurde ich beauftragt, einen Blick auf unser SEO zu werfen (ein Bereich, in dem ich einige, aber keine erstaunliche Kompetenz habe), und das Erste, was mir auffiel, war, dass unsere robots.txt-Datei Folgendes besagt:

# go away
User-agent: *
Disallow: /

Jetzt bin ich ziemlich kompetent darin, Computer zu lesen, und soweit ich das beurteilen kann, sollten ALLE Spinnen NICHTS im Stammverzeichnis oder darunter ansehen.

Lese ich das richtig? Weil das einfach verrückt erscheint.

7

Vielleicht wollte jemand nicht für Spinnenverkehr bezahlen?

Unabhängig davon lesen Sie es richtig:

http://www.robotstxt.org/robotstxt.html

Websitebesitzer verwenden die Datei /robots.txt, um Webrobotern Anweisungen zu ihrer Website zu geben. Dies nennt man das Robots-Ausschlussprotokoll. So funktioniert es: Ein Roboter möchte eine Website-URL aufrufen, z. B. http://www.example.com/welcome.html . Zuvor sucht es zuerst nach http://www.example.com/robots.txt und findet:

 User-agent: *
 Disallow: /

Der "User-agent: *" bedeutet, dass dieser Abschnitt für alle Roboter gilt. Der "Disallow: /" teilt dem Roboter mit, dass er keine Seiten auf der Site besuchen soll.

10
techie007

Ich habe diese Art von robots.txt eingerichtet, wenn ich eine Website zum ersten Mal entwickle, da ich nicht möchte, dass sie von Google und anderen indiziert wird, bevor sie fertig ist.

Ich habe auch vergessen, das zu bearbeiten, nachdem die Site live gegangen ist. * facepalm *

1
Doug Harris