it-swarm.com.de

Ändern von sitemap.xml und robots.txt nach dem Wechsel von http zu https

Ich migriere eine Website vollständig von http zu https. Alle http-URLs weisen 301 Weiterleitungen zu ihren https-Gegenstücken auf.

Von https://support.google.com/webmasters/answer/6033049

Wir verweisen auf unsere HTTP-Sitemaps in robots.txt. Sollten wir die robots.txt aktualisieren, um unsere neuen HTTPS-Sitemaps aufzunehmen?

Wir empfehlen separate robots.txt-Dateien für HTTP und HTTPS, die auf separate Sitemap-Dateien für HTTP und HTTPS verweisen. Wir empfehlen außerdem, eine bestimmte URL in nur einer Sitemap-Datei aufzulisten.

Welche URLs sollten in unseren Sitemaps aufgeführt werden, wenn Weiterleitungen vorhanden sind (von HTTP zu HTTPS oder umgekehrt)?

Listen Sie alle HTTP-URLs in Ihrer HTTP-Sitemap und alle HTTPS-URLs in Ihrer HTTPS-Sitemap auf, unabhängig von Weiterleitungen, wenn der Benutzer die Seite besucht. Wenn Seiten unabhängig von Weiterleitungen in Ihrer Sitemap aufgeführt sind, können Suchmaschinen die neuen URLs schneller erkennen.

Ich gehe davon aus, dass das Folgende richtig sein sollte:

  1. http://example.com/robots.txt sollte existieren und eine Sitemap-Direktive haben, die auf die alte sitemap.xml mit http-URLs verweist.

  2. https://example.com/robots.txt sollte vorhanden sein und eine Sitemap-Direktive enthalten, die auf die neue sitemap.xml (möglicherweise als sitemap_https.xml bezeichnet) mit https-URLs verweist, die mit den alten identisch sind diejenigen, sondern haben https anstelle von http.

Aber die weitere Lektüre der Google-Richtlinien zeigt einen anderen Ansatz, der diesem widerspricht (oder habe ich vielleicht etwas falsch verstanden?)

Von der Antwort https://support.google.com/webmasters/answer/603308 :

Aktualisieren Sie Ihre robots.txt-Dateien:

  • Entfernen Sie auf der Quellsite alle robots.txt-Anweisungen. Auf diese Weise kann Googlebot alle Weiterleitungen zur neuen Website ermitteln und unseren Index aktualisieren.

  • Stellen Sie auf der Zielwebsite sicher, dass die robots.txt-Datei das gesamte Crawlen zulässt. Dies umfasst das Crawlen von Bildern, CSS, JavaScript und anderen Seiteninhalten, abgesehen von den URLs, von denen Sie sicher sind, dass sie nicht gecrawlt werden sollen.

Senden Sie auf der Zielwebsite die beiden Sitemaps, die Sie zuvor vorbereitet haben und die alte und die neue URL enthalten. Auf diese Weise können unsere Crawler die Weiterleitungen von den alten URLs zu den neuen URLs ermitteln und das Verschieben der Website erleichtern.

So verstehe ich diesen Ansatz:

  1. http robots.txt sollte existieren und keine Direktiven enthalten (leer sein).

  2. https robots.txt sollte vorhanden sein und zwei Sitemap-Anweisungen enthalten, eine für die alte sitemap.xml und eine für die neue sitemap_https.xml

Vielleicht bedeutet "die zwei Sitemaps einreichen" etwas anderes als sie in robots.txt aufzulisten? Mögen Sie die Suchkonsole oder so? Es klärt nicht, nur "einreichen" ...

Außerdem widerspricht Punkt 1 dieses Ansatzes Punkt 1 des ersten Ansatzes.

3
Vilial

Der erste Ansatz ist der richtige. Wir haben eine Website mit hohem Traffic und Rankings erfolgreich vollständig von HTTP auf HTTPS migriert. Der auf Google-Richtlinien basierende Ansatz lautete:

  1. Alle HTTP-URLs führen eine permanente 301-Weiterleitung zu HTTPS durch.

  2. http://www.example.com/robots.txt würde auf die HTTPS-Version https://www.example.com/robots.txt umleiten

  3. Die neue Sitemap enthält alle HTTPS-Links.

Hier ist ein guter Beitrag dazu von Google:

https://plus.google.com/+JohnMueller/posts/PY1xCWbeDVC

4
DhruvPathak

Wenn Sie HTTP und HTTPS beibehalten und nicht vorhaben, alles auf HTTPS umzuleiten, ist der Rat von Google möglicherweise sinnvoll. Abgesehen davon scheint es mir ein seltsamer Rat zu sein.

Vermutlich möchten Sie irgendwann alles auf HTTPS verschieben, daher sollten Sie, wo immer möglich, HTTPS-URLs verwenden. Ihre robots.txt-Datei würde Ihren HTTPS-Sitemap-Link sowohl auf http://example.com/robots.txt als auch auf https://example.com/robots.txt anzeigen. Ähnlich würde es für die Sitemap HTTPS-URLs für beide Versionen anzeigen.

Dies ist aus technischer Sicht viel einfacher und priorisiert HTTPS-URLs in Google.

2
DisgruntledGoat