it-swarm.com.de

Gibt es einen Unterschied zwischen einer leeren robots.txt und keiner robots.txt?

Auf einem Webserver muss ich jetzt noch administrieren, dass mir aufgefallen ist, dass die robots.txt leer ist. Ich fragte mich, ob es einen Unterschied zwischen einer leeren robots.txt und gar keiner Datei gibt.

Verhalten sich Crawler in diesen beiden Fällen unterschiedlich? Ist es also sicher, nur eine leere robots.txt zu löschen?

28
Foo Bar

Verhalten sich Crawler in diesen beiden Fällen unterschiedlich?

Eine robots.txt -Datei, die leer ist, unterscheidet sich nicht von einer Datei, die nicht gefunden wurde. Beides verbietet das Crawlen nicht.

Möglicherweise erhalten Sie jedoch viele 404 Fehler in Ihren Serverprotokollen, wenn Crawler die robots.txt -Datei anfordern, wie in dieser Frage angegeben. hier .

Ist es also sicher, nur eine leere robots.txt zu löschen?

Ja, mit der obigen Einschränkung.

30
dan

Nein, es gibt keinen Unterschied.

In Ihrem Serverprotokoll werden 404 Fehler angezeigt. Wenn Sie beispielsweise Google Web Master-Tools abonniert haben, werden Sie möglicherweise darauf hingewiesen, dass Sie über keine Tools verfügen, diese jedoch hinsichtlich des Verhaltens des Crawler-Roboters identisch sind Jeder Roboter, der Ihnen am Herzen liegt.

13
TZHX