it-swarm.com.de

In den Google Webmaster-Tools wird mir mitgeteilt, dass Roboter den Zugriff auf die Sitemap blockieren

Dies ist meine robots.txt :

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

Sitemap: http://www.example.org/sitemap.xml.gz

Die Google Webmaster-Tools haben mir jedoch mitgeteilt, dass Roboter den Zugriff auf die Sitemap blockieren:

Beim Versuch, auf Ihre Sitemap zuzugreifen, ist ein Fehler aufgetreten. Stellen Sie sicher, dass Ihre Sitemap unseren Richtlinien entspricht und an dem von Ihnen angegebenen Ort abgerufen werden kann, und reichen Sie sie erneut ein: RL eingeschränkt durch robots.txt =.

Ich habe gelesen, dass Google Webmaster-Tools die Datei robots.txt zwischenspeichert , aber die Datei wurde vor mehr als 36 Stunden aktualisiert.

pdate:

Wenn Sie auf die TEST-Sitemap klicken, ruft Google keine neue Sitemap ab. Das konnte nur die SUBMIT-Sitemap. (Übrigens sehe ich nicht, was der Sinn von "Test-Sitemap" ist, es sei denn, Sie fügen Ihre aktuelle Sitemap dort ein - es wird keine neue Kopie der Sitemap von der Adresse abgerufen, die Sie vor dem Test eingeben sollen - aber das ist es eine frage für einen anderen tag.)

Nach dem Einreichen (anstatt zu testen) einer neuen Sitemap hat sich die Situation geändert. Ich erhalte jetzt "URL blockiert von robots.txt . Die Sitemap enthält URLs, die von robots.txt . " für 44 URLs. Die Sitemap enthält genau 44 URLs. Dies bedeutet, dass Google die neue Sitemap verwendet, diese jedoch weiterhin der alten Robots-Regel entspricht (die alles außer Kraft setzte) Keine der 44 URLs befindet sich in /wp-admin/ oder /wp-includes/ (was sowieso unmöglich ist, da robots.txt direkt von demselben Plugin erstellt wird, das die Sitemap erstellt).

pdate 2:

Es wird schlimmer: Auf einer Google-Suchergebnisseite lautet die Beschreibung für die Startseite: "Eine Beschreibung für dieses Ergebnis ist aufgrund der robots.txt dieser Website nicht verfügbar. - Lern ​​mehr". Alle anderen Seiten haben feine Beschreibungen. Es gibt kein robots.txt OR Robots Meta Blocking Indexing der Homepage.

Ich stecke fest.

11
Gaia

Offenbar hat Google den Cache Ihrer robots.txt-Datei noch nicht aktualisiert. Ihre aktuelle robots.txt-Datei (oben) sieht nicht so aus, als ob sie Ihre Sitemap-URL blockieren sollte.

Ich denke, Google hat seinen Cache gerade nicht aktualisiert.

Es besteht kein Grund zu raten. In den Google Webmaster Tools (GWT) unter "Health"> "Blocked URLs" können Sie sehen, wann Ihre robots.txt zuletzt heruntergeladen wurde und ob sie erfolgreich war. Außerdem werden Sie darüber informiert, wie viele URLs von der robots.txt-Datei blockiert wurden.

robots.txt reference in Google Webmaster Tools

Wie in meinen Kommentaren erwähnt, verfügt GWT über ein Tool zur Überprüfung von robots.txt ("Health"> "Blocked URLs"). So können Sie Änderungen an Ihrer robots.txt sofort testen (ohne Ihre eigentliche Datei zu ändern). Geben Sie die robots.txt-Datei im oberen Textbereich und die URLs an, die Sie im unteren Textbereich testen möchten. Sie erfahren dann, ob sie blockiert sind oder nicht.


Caching von robots.txt

Eine robots.txt-Anforderung wird im Allgemeinen bis zu einem Tag zwischengespeichert, kann jedoch in Situationen länger zwischengespeichert werden, in denen das Aktualisieren der zwischengespeicherten Version nicht möglich ist (z. B. aufgrund von Zeitüberschreitungen oder 5xx-Fehlern). Die zwischengespeicherte Antwort kann von verschiedenen Crawlern gemeinsam genutzt werden. Google kann die Cache-Lebensdauer basierend auf maximal veralteten HTTP-Headern für die Cache-Steuerung verlängern oder verkürzen.

Quelle: Google Developers - Robots.txt-Spezifikationen

8
MrWhite

Ich hatte das gleiche Problem mit meiner Website, weil ich während der Installation WP die Option Nicht mit Suchmaschine oder derselben Option verfolgen ausgewählt habe.

So beheben Sie dieses Problem:

  1. gehe zu Webmaster Tools crawlt entferne URL und sende deinen www.example.com/robots.txt mit dieser Option -> entferne aus dem Cach, um den Inhalt zu ändern oder ...
  2. warte eine Minute
  3. übermitteln Sie Ihre Sitemap-URL erneut
  4. fertig
2
Mohammad