it-swarm.com.de

Die Google Webmaster-Tools melden "Netzwerk nicht erreichbar" für robots.txt, sitemap.xml und alle Seiten in der Sitemap

die Webmaster-Tools für meine Website zeigen dies an

robots.txt nicht erreichbar

und für alle links in der sitemap heißt es

netzwerk nicht erreichbar. sitemap.xml nicht erreichbar.

Diese werden auf der Crawling-Statistikseite angezeigt.

Ich diskutierte mit dem Support-Team meines Hostings und sie sagten ...

Hallo,

Ich habe Apache-Protokolle überprüft und sehe keine Probleme auf Ihrer Website/webserver /

Mögliche Probleme.

  1. Möglicherweise liegt ein Routing-Problem zwischen dem Google-Server und unserem Server vor.

  2. Wenn ein Google Bots-Treffer hoch geht, wird die IP von unserer Firewall automatisch auf die schwarze Liste gesetzt, um Serverlasten und -ausfälle zu vermeiden.

Da wir keinen Zugriff auf ihre Dienste haben, können wir keine Details zu ihren Details/Protokollen usw. angeben.

Der Sitemaps-Link zeigt ein Ausrufezeichen an, was bedeutet, dass die Datei nicht erreichbar war.

Was könnte das Problem sein und wie kann es gelöst werden?

2

Versuchen Sie, Ihre Website mit einer gefälschten Benutzeragenten-ID zu crawlen, die mit Googlebot übereinstimmt. (Mit A1 Website Analyzer können Sie beispielsweise die Benutzeragenten-ID ändern.)

Einige Website-/Webserver- "Schutz" -Systeme testen auch, ob z. robots.txt wird angefordert, gleichzeitige Verbindungen usw. Sie können versuchen, einige Tests durchzuführen, um festzustellen, wie aggressiv Ihr (wenn überhaupt) Schutzsystem ist.

Wenn Ihr Server-Administrator jedoch selbst angibt, dass er über ein Anti-Bot-System verfügt, ist dies wahrscheinlich der Grund.

für die Zukunft könnten Sie versuchen, robots.txt mit einer Crawl-Verzögerung zu versehen

1
Tom