it-swarm.com.de

Viele "429" -Crawlfehler in Google Webmaster-Tools mit GoDaddy Managed Wordpress Hosting und Cloudflare

Folgendes Setup:

  • GoDaddy Managed Wordpress Hosting + SSL
  • Cloudflare als CDN

In den Google Webmaster-Tools werden alle Seiten mit einem Crawling-Fehler von 429 angezeigt. Ich habe manuell und mit Tools wie monitor.us getestet und beim Laden der Seiten keine Probleme festgestellt.

Früher funktionierte es einwandfrei, bevor ich Cloudflare und SSL hinzufügte. Was ist die wahrscheinlichste Ursache für dieses Problem? Wie debugge ich am besten?

5
sebastiansieber

429 Fehler sind:

429 Zu viele Anfragen

Der Statuscode 429 zeigt an, dass der Benutzer in einem bestimmten Zeitraum zu viele Anfragen gesendet hat ("Ratenbegrenzung").

Die Antwortdarstellungen MÜSSEN Details enthalten, die den Zustand erklären, und KÖNNEN einen Retry-After-Header enthalten, der angibt, wie lange gewartet werden muss, bevor eine neue Anforderung gestellt wird.

Die meisten Webhosts begrenzen die Crawling-Rate bei dieser Art von Fehlern nicht. Suchmaschinen müssen in der Lage sein, alle Ihre Seiten zu crawlen, um Ihre Website indizieren zu können. Wenn Googlebot Ihre Seiten aufgrund dieses Fehlers beim Crawlen nicht abrufen kann, treten SEO-Probleme auf.

Hier ist ein Thread wo jemand ein ähnliches Problem hat, auch mit GoDaddy-Hosting. Ein Poster konnte die problematische Site mit dem Screaming Frog-Crawler crawlen und das Problem reproduzieren. Wenn sie schneller krochen, bekamen sie mehr 429 Fehler.

Die einzige Möglichkeit, dieses Problem zu beheben, besteht darin,

  • Wenden Sie sich an GoDaddy und lassen Sie diesen Fehler deaktivieren oder Googlebot schneller crawlen
  • Suchen Sie ein neues Hosting-Unternehmen und verschieben Sie Ihre Website dorthin
  • Bringen Sie den Googlebot dazu, langsamer zu crawlen, indem Sie Crawling-Rate in den Google Webmaster-Tools einstellen.
3

[Offenlegung: Ich führe das Produktmanagement für das Hosting bei GoDaddy aus und bin der verantwortliche PM für unser verwaltetes WordPress Produkt.]

Aufgrund Ihrer Frage und Ihres Feedbacks haben wir einige Änderungen an unseren Einstellungen vorgenommen:

  1. Die Bot-Ratenbegrenzung wurde von 3 Anfragen/Sekunde auf 15 Anfragen/Sekunde erhöht.
  2. Die Begrenzung der Bot-Rate schließt jetzt statische Dateien aus. Nur dynamische, nicht zwischengespeicherte Inhalte sind in der Rate begrenzt. Dies sollte der größte Gewinn sein, da ein Großteil der Inhalte auf dem Produkt Managed WordPress zwischengespeichert werden kann

Randnotiz: Ich muss das Verhalten mit CloudFlare testen, um zu bestätigen, wie der Googlebot damit funktioniert, aber wir haben es mit diesen Änderungen weiter geöffnet, sodass Sie einsatzbereit sein sollten.

2
Bill