it-swarm.com.de

Sollte ein einzelner Seitenabruf wie TinEye robots.txt gehorchen?

Ich habe festgestellt, dass tineye.com nicht versucht, "robots.txt" von meiner Website abzurufen. Es wird auch ein "User Agent" -String gesendet, der aus dem Browser des Benutzers besteht und an dessen Ende "TinEye/1.0 (via http://www.tineye.com/ )" angehängt ist.

Ist das korrektes Verhalten? Wenn ich nach Ermessen des Benutzers etwas schreibe, das eine Datei von einer Website abruft, ist es akzeptabel, "robots.txt" nicht abzurufen? Oder sollte ein automatisiertes Programm immer robots.txt befolgen?

Bitte beachte , dass dies keine Frage zu tineye.com ist .

1
delete

Die Verwendung von robots.txt ist immer freiwillig. Es gibt kein internationales Gesetz, das dies vorschreibt.

3
paulmorriss