it-swarm.com.de

Wenn ich kein spezielles Verhalten festlegen möchte, ist es in Ordnung, wenn ich keine robots.txt-Datei benötige?

Wenn ich kein spezielles Verhalten festlegen möchte, ist es in Ordnung, wenn ich keine robots.txt-Datei benötige?

Oder kann das Fehlen eines schädlich sein?

29
Dan Dumitru

Das Fehlen einer robots.txt-Datei ist nicht schädlich. Von der robotstxt.org website :

Um allen Robotern den vollständigen Zugriff zu ermöglichen

User-Agent: *
Verbieten:

(oder erstelle einfach eine leere "/robots.txt" -Datei oder verwende gar keine)

Auch wenn Sie in Ihrer robots.txt-Datei nichts angeben, ist dies eine gute Möglichkeit, Suchmaschinen über den Speicherort Ihrer XML-Sitemap zu informieren . Sie können dies tun, indem Sie oben in Ihrer robots.txt-Datei eine Zeile einfügen, die ungefähr so ​​aussieht:

Sitemap: http://www.example.com/sitemap-Host1.xml

Sie sollten sich auch darüber im Klaren sein, dass bei Nichtvorhandensein viele 404-Einträge in Ihren Webprotokollen erstellt werden.

30
JasonBirch

Wenn Sie keine "robots.txt" haben, enthält Ihr Fehlerprotokoll viele 404-Werte in der Datei, was eine Art Ärger sein kann, ähnlich wie wenn Sie kein Favicon haben.

21
delete

Ich denke, es wäre haben in Ordnung zu sein, sonst wären riesige Schwaden des Webs für Webspinnen nicht indizierbar.

Nein robots.txt ist das Gleiche wie "Indizierung durch alle zulassen" robots.txt fast per Definition.

6
Jeff Atwood

Das Fehlen einer robots.txt-Datei überlässt es dem Crawler zu entscheiden, was er kann und was nicht. Da es nur Sekunden dauert, um jede Art von Zweideutigkeit zu vermeiden, warum nicht einfach eine erstellen, mit der alle Agenten auf alles zugreifen können?

2
Tim Post

Nun, da robots.txt die Adresse Ihrer Sitemap enthält, ist es möglicherweise schädlich, wenn Sie keine haben.

0
Thomas Bonini

Abhängig von Ihrem Inhalt sollte es keine Probleme geben, wenn Sie keine Robots-Datei haben, solange Sie nicht alle Seiten Ihrer Website von Suchmaschinen indiziert bekommen.

0
seanl