it-swarm.com.de

"Die Sitemap enthält URLs, die von robots.txt blockiert werden." Warnung - Die robots.txt-Datei scheint jedoch nichts zu blockieren

Unsere Seite basiert auf WordPress.

Während der Entwicklungsphase hatten wir die Option Suchmaschinen von der Indizierung dieser Site abzuhalten (Einstellungen lesen).

Wir haben die Site nun live geschaltet und diese Option deaktiviert.

Gestern habe ich eine Sitemap in der Googles Search Console eingereicht, aber viele der Sitemap-Pfade enthalten die folgende Warnung:

Die Sitemap enthält URLs, die von robots.txt blockiert werden.

Soweit ich das beurteilen kann, wird keine URL der Site (außer der /wp-admin/) durch unsere robots.txt -Datei blockiert. Ich habe es in der Suchkonsole getestet und das heißt, es ist in Ordnung.

Ich habe einige Artikel gelesen, die besagen, dass die Datei für eine Weile zwischengespeichert werden kann, aber es ist nun ein Tag vergangen, seit sie gesendet wurde.

Fehlt mir etwas oder kann ich verhindern, dass diese Warnung ausgegeben wird?

Sitemap - https://www.justaccounts.com/sitemap_index.xml

Roboter-Datei:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Einige Beispiele für die URLs, die als gesperrt angezeigt werden:

  • https://www.example.com/page-sitemap.xml
  • https://www.example.com/category-sitemap.xml
  • https://www.example.com/attachment-sitemap.xml
1
Peter Rowlands

In meinem Fall weigerte sich Google (ohne zu sagen), die neue robots.txt wegen der Windows-Zeilenenden zu verwenden. Ich habe den Befehl dos2unix verwendet und erneut gesendet.

1
Simeon Petrov