it-swarm.com.de

Warum sagen Google Webmaster-Tools, dass meine gesamte Website von robots.txt blockiert wird, wenn ich keine robots.txt habe?

Ich habe eine Sitemap für meine WordPress-Site bei Google Webmaster Tools eingereicht. Mehrmals. Ich bekomme immer die gleichen Nachrichten:

"URL blockiert von robots.txt." und "Sitemap enthält URLs, die von robots.txt blockiert werden."

Aber ich habe nirgendwo eine robots.txt. Es sieht so aus, als ob meine gesamte Website und jeder Link darauf von Googlebot nicht gecrawlt werden kann. Ich habe das WordPress Yoast SEO-Plugin und Cloudflare verwendet, aber ich habe sie deaktiviert und meinen Cache geleert, ohne Erfolg. Zuerst dachte ich, es sei Yoasts Schuld.

Bei der Einstellung "Suchmaschinen-Sichtbarkeit" in WordPress ist die Option "Suchmaschinen von der Indizierung dieser Site abhalten" deaktiviert. Jetzt frage ich mich, ob WordPress seine eigene virtuelle robots.txt erstellt oder etwas, das nicht im Site-Stammverzeichnis angezeigt wird.

Was gibt? Muss ich ein paar Tage warten? Ich hatte nie eine robots.txt am Anfang!

1
CharlesMabe

Ein ähnliches Problem ist mir aufgefallen und ich habe die folgende Lösung erhalten:

  • Schritt 1: Mach ein Backup deiner .htaccess Datei und entferne sie dann (Mach dir keine Sorgen, bei der nächsten Aktualisierung wird WordPress eine für dich erstellen)
  • Schritt 2: Wenn kein robots.txt existiert, erstelle einen mit einer leeren Seite
  • Schritt 3: Übermitteln Sie die Sitemap erneut an die Google Webmaster-Tools
  • Schritt 4: Verwenden Sie zusätzlich "Crawl as google" und fügen Sie die Website erneut hinzu, um zu bestätigen, dass die Dinge gut funktionieren

Wir hoffen, dass Ihre Website in Kürze indexiert wird.

1
Mayeenul Islam

Jetzt frage ich mich, ob WordPress seine eigene virtuelle robots.txt erstellt oder etwas, das nicht im Site-Stammverzeichnis angezeigt wird.

WordPress macht genau das, aber nur, wenn Sie Suchmaschinen " entmutigen ".

Was bekommst du, wenn du zu http://example.com/robots.txt gehst? Natürlich ist example.com Ihre Site.

0
Otto

Haben Sie WordPress in einem Unterverzeichnis installiert? Wenn ja, überprüfen Sie die Robots-Datei im Stammordner.

Wenn nein, überprüfen Sie, ob die Suchmaschinenindizierung unter Einstellungen> Lesen deaktiviert ist.

Wenn Sie SEO-Plugins verwenden, überprüfen Sie auch dort die Einstellungen. Die Indizierung ist zwar sowohl in der WordPress-Kerneinstellung als auch in der Plugins-Einstellung standardmäßig aktiviert, aber nur, um sicherzustellen, dass Sie diese auch überprüfen.

0
Abhik