it-swarm.com.de

Wenn Sie eine Site über eine 301-Umleitung verschieben, sollten Sie eine robots.txt einrichten, die es Robotern nicht erlaubt, die alte Adresse zu crawlen?

Eine Site, an der ich arbeite, hat eine Unterdomäne über eine 301-Umleitung in eine andere Unterdomäne verschoben. Wenn Sie jedoch die robots.txt der alten Unterdomäne überprüfen, gibt es eine robots.txt, die es Suchmaschinen-Webcrawlern nicht erlaubt, sie zu crawlen.

Ist das der richtige Schachzug? Ich glaube nein, weil die Crawler nicht in der Lage sind, die alte Site zu crawlen, um die 301-Statuscodes anzuzeigen.

8
mat boy

Ihre Vermutungen sind richtig, mit der genauen Begründung, die Sie erwähnt haben. Wenn Sie Robotern den Zugriff auf die alte Site verweigern, können sie die 301-Umleitung nicht sehen.

11

Ich glaube nein, weil die Crawler nicht in der Lage sind, die alte Site zu crawlen, um die 301-Statuscodes anzuzeigen.

Ja, genau - das ist nicht der "richtige Zug". Wenn Sie eine 301-Umleitung implementieren, vermutlich, um SEO zu erhalten, wird durch das Blockieren der umgeleiteten URLs verhindert, dass die Suchmaschinen die Umleitung sehen und den neuen Inhalt indizieren.

5
DocRoot

Ich würde die robots.txt so lassen, wie sie ist, aber sicherstellen, dass die alten und neuen Seiten die entsprechende Version der Canonical-Tags haben. Dies wird der Suchmaschine helfen, einen Sinn für das zu erkennen, was passiert ist.

0
Jason