it-swarm.com.de

Bearbeiten Sie robots.txt auf Google Sites

Auf meiner Website werden viele 404-Fehler für die folgenden URLs angezeigt:

/system/app/pages/admin/revisions*

Ich wollte Disallow in robots.txt einfügen, aber es scheint, dass es keine Möglichkeit gibt, robots.txt in Google Sites zu bearbeiten. Habe ich eine Option verpasst? Wenn es nicht vorhanden ist, gibt es eine Problemumgehung mit den Webmaster-Tools?

2
Neolisk

Das Crawlen von 404-Seiten muss nicht verboten werden - URLs, die 404 zurückgeben, sind absolut in Ordnung und normal. 404-Fehler in URLs, die nicht vorhanden sind, wirken sich nicht auf das Crawling, die Indizierung oder das Ranking Ihrer Website insgesamt aus (siehe Verletzen 404-Fehler meine Website? ).

Denken Sie auch daran, dass durch das Deaktivieren des Crawling von URLs dieser Art dies kann dazu führen, dass sie tatsächlich indiziert werden (da wir nicht sicher sind, was hinter der URL steckt). Wenn die URL hingegen 404 zurückgibt und wir sie crawlen können, um dies zu sehen, werden wir diese URL nicht indizieren.

2
John Mueller