it-swarm.com.de

So entfernen Sie alte robots.txt von Google als alte Datei blockieren die gesamte Website

Ich habe eine Website, auf der noch alte robots.txt in den Google Webmaster-Tools angezeigt werden.

User-agent: *
Disallow: /

Welches blockiert Googlebot. Ich habe die alte Datei entfernt, die die neue robots.txt-Datei mit fast vollem Zugriff aktualisiert und gestern hochgeladen hat, aber sie zeigt mir immer noch die alte Version der robots.txt-Datei

User-agent: *
Disallow: /flipbook/
Disallow: /SliderImage/
Disallow: /UserControls/
Disallow: /Scripts/
Disallow: /PDF/
Disallow: /dropdown/

Ich habe eine Anfrage zum Entfernen dieser Datei mit den Google Webmaster-Tools gesendet, meine Anfrage wurde jedoch abgelehnt

Ich würde mich freuen, wenn mir jemand sagen kann, wie ich es aus dem Google-Cache löschen und Google die neueste Version der robots.txt-Datei lesen lassen kann.

5
Learning

Dies ist von der Google Webmaster-Entwickler-Website https://developers.google.com/webmasters/control-crawl-index/docs/faq

Wie lange dauert es, bis sich Änderungen in meiner robots.txt-Datei auf meine Suchergebnisse auswirken?

Zunächst muss der Cache der robots.txt-Datei aktualisiert werden (der Inhalt wird in der Regel bis zu einem Tag zwischengespeichert). Auch nach dem Auffinden der Änderung ist das Crawlen und Indizieren ein komplizierter Vorgang, der für einzelne URLs manchmal einige Zeit in Anspruch nimmt. Daher ist es unmöglich, eine genaue Zeitachse anzugeben. Beachten Sie auch, dass Ihre robots.txt-Datei den Zugriff auf eine URL nicht zulässt, diese URL jedoch möglicherweise in den Suchergebnissen angezeigt wird, obwohl sie nicht gecrawlt werden kann. Wenn Sie das Entfernen der von Ihnen gesperrten Seiten von Google beschleunigen möchten, senden Sie einen Antrag auf Entfernung über die Google Webmaster-Tools.

Und hier sind Spezifikationen für robots.txt von Google https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt

Wenn die Syntax Ihrer Datei korrekt ist, warten Sie am besten, bis Google Ihre neue Roboterdatei aktualisiert.

3
Anagio

Als Erstes müssen Sie sicherstellen, dass Sie die neue robots.txt-Datei korrekt hochgeladen haben.

Besuchen Sie www.yourwebsite.com/robots.txt in Ihrem Browser, um dies zu überprüfen.

0
RRikesh

Normalerweise überprüft Google regelmäßig, ob Änderungen an Ihrer robots.txt-Datei vorgenommen wurden.

Wenn Sie sich für ein Google Webmaster-Tools-Konto anmelden, erhalten Sie weitere Informationen, einschließlich der letzten Überprüfung Ihrer robots.txt-Datei durch Google.

EDIT: Sie können auch nicht verlangen, dass Ihre robots.txt-Datei entfernt wird. Das Tool zum Entfernen von URLs dient zum Entfernen von Seiten aus dem Suchindex.

Haben Sie bestätigt, dass die neue Datei korrekt hochgeladen wurde? Es gab Zeiten, in denen ich versucht habe, eine Datei auf den Server zu übertragen, aber als ich online nachgesehen habe, wurden die Änderungen nicht angezeigt. Als ich mich bei meinem Hosting-Kontrollfeld anmeldete und meine Dateien ansah, war es immer noch die alte Datei. Anscheinend wurde die Datei von meinem FTP-Client nicht richtig übertragen, obwohl keine Fehler angezeigt wurden.

Als Erstes müssen Sie sicherstellen, dass Ihre Datei korrekt hochgeladen wurde, indem Sie in Ihrem Browser die Datei robots.txt aufrufen und nachsehen, welche Dateien vorhanden sind.

Wenn die Datei korrekt hochgeladen wurde und Sie die neue Datei im Browser sehen können, wird Ihre Datei an einer anderen Stelle zwischengespeichert. Einige statische CDN-Cache-Dateien, daher kann dies die Ursache sein, wenn Sie einen CDN verwenden.

0
Sherwin Flight