it-swarm.com.de

Müssen Sie Google ermutigen, robots.txt zu aktualisieren

Meine alte robots.txt ist

User-agent: *
Disallow: /

Blockiert mich für das Hochladen einer neuen Sitemap und blockiert mich auch für das manuelle Abrufen von robots.txt. Ich weiß nicht, was ich tun soll.

1
user220297

robots.txt wird zwischengespeichert und von Google innerhalb eines Tages automatisch aktualisiert.

Zwischenspeichern Eine robots.txt-Anforderung wird in der Regel bis zu einem Tag zwischengespeichert, kann jedoch in Situationen länger zwischengespeichert werden, in denen das Aktualisieren der zwischengespeicherten Version nicht möglich ist (z. B. aufgrund von Zeitüberschreitungen oder 5xx-Fehlern). Die zwischengespeicherte Antwort kann von verschiedenen Crawlern gemeinsam genutzt werden. Google kann die Cache-Lebensdauer basierend auf maximal veralteten HTTP-Headern für die Cache-Steuerung verlängern oder verkürzen.

https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt?hl=it

1
user29671

Googlebot ruft robots.txt häufiger als die meisten anderen Dateien auf Ihrem Webserver erneut ab. Sie müssen in der Regel weniger als 24 Stunden warten. Aus der Google-Dokumentation :

Eine robots.txt-Anforderung wird im Allgemeinen bis zu einem Tag zwischengespeichert, kann jedoch in Situationen länger zwischengespeichert werden, in denen das Aktualisieren der zwischengespeicherten Version nicht möglich ist (z. B. aufgrund von Zeitüberschreitungen oder 5xx-Fehlern). Die zwischengespeicherte Antwort kann von verschiedenen Crawlern gemeinsam genutzt werden. Google kann die Cache-Lebensdauer basierend auf maximal veralteten HTTP-Headern für die Cache-Steuerung verlängern oder verkürzen.

Ich bin nicht sicher, was Sie meinen, wenn Sie sagen, dass Ihre alte robots.txt-Datei Sie daran hindert, die neue manuell abzurufen. Roboter gehorchen robots.txt nicht, um robots.txt abzurufen. Robots rufen regelmäßig die robots.txt-Datei ab, selbst wenn Sie eine Disallow: /robots.txt -Zeile in die Datei einfügen. Es gibt keine Möglichkeit, robots.txt zu verwenden, um zu verhindern, dass Bots robots.txt überprüfen.

Eine Möglichkeit, Googlebot zum sofortigen Herunterladen einer Seite zu zwingen, besteht darin, die Funktion "Als Google abrufen" in Google Webmaster-Tools (im Menü "Crawl") zu verwenden. Mit dieser Funktion können Sie Googlebot dazu zwingen, Ihre neue robots.txt-Datei sofort abzurufen.

Webmaster-Tools verfügt auch über die Funktion "Blockierte URLs" (ebenfalls im Menü "Crawl"), mit der Sie die aktuelle robots.txt-Datei anzeigen und testen können, welche URLs von dieser blockiert werden. Sie können die robots.txt-Datei in diesem Tool ändern, um sicherzustellen, dass Änderungen die erwarteten URLs blockieren und entsperren.

1