it-swarm.com.de

Die Google Search Console meldet, dass die übermittelte URL von robots.txt blockiert wurde, obwohl keine robots.txt-Datei vorhanden ist

Heute erhielt ich eine E-Mail-Benachrichtigung von Google, dass bei meiner Website Suchprobleme aufgetreten sind. Ich habe mich bei Google Search Console angemeldet. Es zeigt, dass 1 Datei von robots.txt blockiert wurde und dies seit mehreren Tagen.

Ich führe die Robots-Prüfung für diese Datei durch. Sie lautet: "Es gibt keine robot.txt Datei." Dies ist, was ich erwartet habe. Die Fehlermeldung besagt also, dass EINE Datei aufgrund einer Datei, die ich nicht habe, nicht indizierbar war.

Wenn ich "Fetch as Google" starte, wird angezeigt, was ich erwarte.

Ich habe Feedback an Google gesendet.

Ich habe hier andere Antworten überprüft und bisher alle über Formatierung/Syntax in der robots.txt-Datei gesprochen. Ich habe die Kombination, eine URL zu blockieren, wenn keine robots.txt-Datei vorhanden ist, nicht gefunden.

Warum nur eine Datei? Wenn es sich um ein vorübergehendes Serviceproblem handelte, warum ist es dann 5 Tage später noch da?

Ist dies eines dieser Dinge, die einfach passieren und verschwinden?

4

Haben Sie die Nachricht per E-Mail oder über die Suchkonsole erhalten?

wenn es per email geht ignoriere. Befindet sich die Nachricht in der Suchkonsole, versuchen Sie, sie zu überschreiben indem Sie eine robots.txt hinzufügen, damit alle Bots Ihre Website crawlen können. Beispiel:

User-agent: *
Disallow:

Stellen Sie außerdem sicher, dass keine Meta-Robots-Tags vorhanden sind (überprüfen Sie jede Seite), wenn Folgendes angezeigt wird, und entfernen Sie es:

<META NAME="ROBOTS" CONTENT="NOINDEX">

Überprüfen Sie auch, ob Sie den Zugriff über X-Robots-Tag gegenüber HTTP-Header blockieren

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noindex
(…)
2
Raul Reyes

Mein Fehler:

Meine httpd-Konfiguration leitet 403-Fehler auf eine benutzerdefinierte Fehlerseite um, meldet sie jedoch anscheinend nicht als Fehler.

Da robots.txt nicht existiert, hat httpd pflichtbewusst das getan, was es sollte, und stattdessen meine benutzerdefinierte Fehlerseite zurückgegeben.

Hoffentlich hilft das jemand anderem.

1