it-swarm.com.de

Wo soll sich die robots.txt-Datei befinden?

Wenn ich eine Subdomain habe:
subdir.a.com, das zu a.com/myfolder/ umleitet

Sollte die robots.txt Datei in sein:

  • subdir.a.com/robots.txt

oder

  • a.com/myfolder/robots.txt
1
Guy

Es befindet sich im Stammverzeichnis der Unterdomäne. In Ihrem Beispiel befindet es sich physisch in Ihrem Verzeichnis a.com/myfolder/, aber über HTTP ist es unter http://subdir.a.com/robots.txt zugänglich.

4
John Conde

Sie können mehrere robots.txt-Dateien haben, wenn Sie zu viele Unterdomänen verwalten, da Sie damit die Zugriffsbeschränkungen für bestimmte Ordner von Bots verwalten können.

Wenn Sie zu viele Subdomains verwalten, ist es immer besser, robots.txt für jede Subdomain zu haben. Sie können auch bestimmte Anweisungen zum Crawlen in die Datei robots.txt Ihres Stammverzeichnisses schreiben. Wenn Sie das nicht möchten, können Sie die robots.txt einfach im Verzeichnis "a.com/myfolder/" speichern. Weil Sie permanent in dieses Verzeichnis umleiten. Sie leiten permanent in dieses Verzeichnis um, daher sollte "robots.txt" hier sein.

0
Mahesh