it-swarm.com.de

Robots.txt und spezifische Dateieinbeziehung

Ist es möglich, robots.txt zu verwenden, um das Crawlen eines Ordners zu verhindern, aber das Crawlen einer bestimmten Datei in diesem Ordner zuzulassen?

1
Matthew Evans

Ganz unten auf der Seite .

Um alle Dateien außer einer auszuschließen

Dies ist derzeit etwas umständlich, da kein Feld "Zulassen" vorhanden ist. Die einfache Möglichkeit besteht darin, alle Dateien, die nicht zugelassen werden sollen, in einem separaten Verzeichnis abzulegen, beispielsweise "stuff", und die eine Datei in der Ebene über diesem Verzeichnis zu belassen.

3
Alex

@ Alex Antwort ist teilweise richtig. Ich habe folgendes entdeckt:

http://en.wikipedia.org/wiki/Robots_exclusion_standard#Allow_directive

1
Matthew Evans