it-swarm.com.de

Wie kann man den Fehler "Google kann die robots.txt Ihrer Website nicht finden" beheben?

Ich habe kürzlich festgestellt, dass "Google die robots.txt Ihrer Website nicht finden kann" in Crawling-Fehlern. Als ich versuchte, als Google abzurufen , erhielt ich das Ergebnis "SUCCESS". Dann habe ich versucht, Crawling-Fehler zu untersuchen, und es wird immer noch "Google kann die robots.txt Ihrer Website nicht finden" angezeigt.

Was kann ich tun, um dieses Problem zu beheben? Bevor dieses Problem auftrat, wurde meine Website innerhalb weniger Minuten indexiert. Jetzt habe ich festgestellt, dass die Indizierung in der Google-Suche einige Zeit in Anspruch genommen hat.

Wenn ich auf http://mydomain.com/robots.txt zugreife, werden die folgenden Daten angezeigt:

User-agent:

*Disallow: /wp-admin/

Disallow: /wp-includes/

Ich habe Blocked URLs = 0 gefunden, auch keine anderen Fehler.

Muss ich noch etwas ändern? Oder was könnte die Lösung dafür sein? Jede Hilfe wäre dankbar.

3
Manivasagam

Stellen Sie sicher, dass Sie im Backend unter Einstellungen → Datenschutz die Option aktiviert haben. Lassen Sie zu, dass Suchmaschinen diese Site indizieren und nicht die andere, bei der es sich um eine Frage handelt Suchmaschinen, die diese Site nicht indizieren .

Auch das war wahrscheinlich nur ein Tippfehler, aber dein robots.txt sollte so aussehen:

User-agent: * 

Disallow: /wp-admin/
Disallow: /wp-includes/
2
stealthyninja

Wenn Sie viele Websites auf demselben Server gespeichert haben und für alle dasselbe Google Analytics-Konto verwenden, und auch einen Hosting-Dienst eines Drittanbieters wie GoDaddy, NetWork Solutions usw. mit einem dedizierten Server, dem Hosting, verwenden Das Unternehmen blockiert möglicherweise den Googlebot, nachdem es eine bestimmte Anzahl der von Ihnen gehosteten Websites ausprobiert hat.

Der Googlebot und das Tool "Als Google abrufen" werden unter zwei verschiedenen IP-Nummern ausgeführt. Dies würde dazu führen, dass Sie als Google erfolgreich abrufen können, der Googlebot jedoch Ihr robots.txt nicht finden konnte.

0
thatdude38

Randnotiz: Ihre robots.txt-Syntax ist nicht korrekt:

User-agent:

*Disallow: /wp-admin/

Disallow: /wp-includes/
  • Ich denke, der * ist versehentlich in die nächste Zeile gewechselt; es sollte User-agent: * sein
  • *Disallow ist den meisten Parsern unbekannt und daher wird die befolgte Regel ignoriert.
  • innerhalb eines Blocks sind keine Zeilenumbrüche zulässig

So sollte es sein:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
0
unor