it-swarm.com.de

robots.txt wird ignoriert

Ich arbeite an einer Joomla-Website und robots.txt macht mir zu schaffen ... ich habe es in domain.com/website/robots.txt und möchte nur verhindern, dass Benutzer Verzeichnisse durchsuchen.

Standardmäßig hatte es Disallow:/images/und die Regel funktioniert, kann nicht auf den Ordner zugreifen. Ich habe versucht, Disallow:/images/thumbnails hinzuzufügen, und das hat nicht funktioniert. Ich habe Disallow:/images/nur zum Testen auskommentiert. Der Ordner IS ist noch nicht erreichbar. Es gibt keine andere Instanz von robots.txt in meiner Domain.

Warum werden meine Änderungen in robots.txt ignoriert? Gibt es eine andere Datei, die es überschreiben könnte?

1
Splint

Die Datei robots.txt funktioniert nur, wenn sie sich im Stammverzeichnis Ihrer Website und nicht in einem Unterordner befindet.

Allerdings ist robots.txt nur für Suchmaschinen-Robots gedacht und hat keine Auswirkung auf das Verhindern, dass Benutzer Ordner durchsuchen. Wenn dies auf Ihrem Server möglich ist, ist er schlecht konfiguriert und sollte so eingestellt werden, dass Indizes nicht zugelassen werden. Dies kann entweder in einer .htaccess-Datei oder vorzugsweise in der Apache-Datei httpd.conf erfolgen

7
user1100155

Robots.txt wird nicht verwendet, um Benutzer daran zu hindern, Verzeichnisse zu durchsuchen. Das Durchsuchen des Verzeichnisses wird über die Webserver-Einstellungen geregelt.

Alles, was robots.txt tut, ist, Suchmaschinen aufzufordern, den Inhalt in den von Ihnen angegebenen Verzeichnissen nicht zu indizieren.

8
nctrnl