it-swarm.com.de

Umleiten von robots.txt beim Wechsel zu einer neuen Domain

Ich verschiebe eine Site auf eine neue Domain, auf eine lokale tld. Ich habe bereits alles erfolgreich auf die neue Domain umgeleitet, mit Ausnahme des robots.txt. Meine Frage wäre, ob es nötig ist, den olddomain.com/robots.txt auf newdomain.com/robots.txt mit 301 umzuleiten? Gibt es eine gängige Praxis für diese Situation?

5
rihe

Das ist wirklich eine interessante Frage. Ich habe ein paar Minuten gebraucht, um die offizielle Erklärung von gary Tweet. zu durchsuchen.

Wenn Google den 404/30X-Status anzeigt, ignoriert Google Ihre robots.txt vollständig. Es ist, als hätte man überhaupt keine robots.txt.

Wenn Google jedoch einen 50-fachen Status oder serverseitige Fehler feststellt, wird das Crawlen Ihrer Website von Google beendet, da Sie möglicherweise gerade mit der Konfiguration Ihres Servers beschäftigt sind.

Leiten Sie Ihre robots.txt also nicht um, oder stellen Sie sicher, dass Sie dasselbe in der neuen Site robots.txt blockieren

3
Goyllo

Die robots.txt auf der alten Domain ist jetzt nutzlos, da sie das Crawlen der aktuellen Domain-Website durch Google erleichtert.

Wenn Sie also olddomain.com/* zu newdomain.com/* umleiten, wird die robots.txt an weitergeleitet, und Sie sollten entsprechende Regeln in Ihre neue robots.txt einfügen (ändern Sie den Inhalt, wenn Sie auch das cms- oder das URL-Format ändern ...)

ich hoffe es hilft ...

0
Patrick Valibus