it-swarm.com.de

Benötige ich robots.txt?

Ich möchte, dass alle Bots alles crawlen können. Muss ich eine robots.txt erstellen?

Fehlt die Datei, hat dies einen negativen Einfluss auf einige Crawler?

Wie sollte es aussehen, wenn ich es erstellen muss?

6
BrunoLM

Sie benötigen keine, da die Nichtvorhandensein einer Nachricht so interpretiert wird, dass alle Inhalte gecrawlt werden sollen. Ich empfehle jedoch, ein leeres zu verwenden, um zu verhindern, dass sich unnötige 404-Fehler in Ihren Statistiken ansammeln.

11
John Conde