it-swarm.com.de

Google hat damit begonnen, die von robots.txt blockierte Root-URL zu melden. Dies ist jedoch nicht der Fall.

Meine Website läuft seit mehreren Jahren ohne Probleme, aber ich habe kürzlich festgestellt, dass meine Stamm-URL bei Google keine Beschreibung/Titel anzeigt.

Das Webmaster-Tool meldet diesen Fehler:

Crawl erlaubt?

 Nein: von robots.txt blockiert Seitenabruf  Fehlgeschlagen: von robots.txt blockiert

Hier ist meine robots.txt, die ziemlich einfach ist und alle Anfragen erlaubt:

User-agent: *
Allow: /

Ich habe bestätigt, dass kein HTML-Tag den Index blockiert. Meine Meta-Robots sind <meta name="robots" content="index, follow" />.

Nicht sicher, warum ich diese Fehlermeldung erhalte. Der robots.txt-Tester ( https://www.google.com/webmasters/tools/robots-testing-tool ) meldet keinen Fehler, aber ich erhalte dieses Problem jetzt seit> 3 Wochen .

Auch die Root-URL gibt HTTP 200 zurück

HTTP/1.1 200 OK
Date: Sat, 15 Sep 2018 18:41:34 GMT
Content-Type: text/html
Connection: keep-alive
Last-Modified: Sat, 15 Sep 2018 18:20:13 GMT
Expect-CT: max-age=604800, report-uri="https://report-uri.cloudflare.com/cdn-cgi/beacon/expect-ct"
Server: cloudflare
CF-RAY: 45ad3a6cab3192d6-SJC

Irgendeine Idee, woran das liegen könnte? Dies geschieht nur für meine Root-URL.

2
woop

Dies kann folgende Gründe haben:

  1. Caching (Ihre Website oder DNS, die Ihre Website und Google zwischenspeichert, kann Ihre aktualisierte robots.txt-Datei nicht lesen.)

  2. Ändern Sie die Syntax Ihrer robots.txt-Datei in:

    User-agent: *
    Disallow:
    
1
Nandla