it-swarm.com.de

Wie entferne ich eine Website vorübergehend von Suchmaschinen?

Wir arbeiten an einer neuen Website und haben vergessen, Roboter zu verbieten, nachdem die Testversion in einer Subdomain online gestellt wurde. Jetzt werden wir bereits von Bots (Google, Yahoo und anderen) gecrawlt und indiziert, und wir wollen das nicht für unsere Testversion, die noch nicht fertig und finalisiert ist.

Meine Frage bezieht sich auf die Indizierung:

  • Ist es in Ordnung, wenn wir Robotern auf dieser Ebene den Zugriff verweigern, ohne dass dies Auswirkungen auf die Live-Website (dieselbe Domain) hat, wenn von Alle zulassen auf Alle verweigern gewechselt wird?
  • Können wir den HTTP-Status 307 (Temporary Redirect) verwenden?
  • Wie lange brauchen Spinnen, um ihre Datenbank zu aktualisieren (entweder keine Roboter oder 307-Weiterleitung)?
4
user8849

ist es in ordnung, wenn wir roboter auf dieser ebene nicht zulassen, ohne dass dies Auswirkungen auf die live-website (dieselbe domain) hat, wenn wir von zulassen, dass alle alle zulassen?

Ja. Sobald Sie aufhören, den Inhalt der Website zu blockieren, wird sie erneut gecrawlt. Ich würde meine Website jedoch erneut bei Google einreichen und/oder eine XML-Sitemap einreichen, um sicherzustellen, dass sie wissen, dass Sie jetzt Inhalte zum Indexieren haben.

können wir den 307 http-Status (Temporary Redirect) verwenden?

Das würde auch funktionieren.

wie lange brauchen Spinnen, um ihre Datenbank zu aktualisieren (entweder keine Roboter oder 307-Weiterleitung)?

Es variiert. Neuere Websites werden seltener gecrawlt und an der Website vorgenommene Änderungen werden nur langsam übernommen. Ich würde definitiv nicht erwarten, dass es schnell gehen wird. Bei Fragen, die hier gestellt werden, kann es Wochen oder Monate dauern, bis die Ergebnisse angezeigt werden.

3
John Conde

Wenn Sie nicht möchten, dass die Site gecrawlt wird , würde ich vorschlagen, sie auf einen "Dummy" zu verschieben. Subdomain, und achten Sie darauf, die Regeln zu aktualisieren, um NICHT es vorher zu crawlen Platzieren Sie den Code dort (und stellen Sie im Idealfall sicher, dass es keine Links von der "Live" -Seite zur "Demo" -Seite gibt.

z.B.

a347demo.example.com
1
scunliffe