it-swarm.com.de

Verhindern, dass XML-Sitemaps in den Google-Suchergebnissen angezeigt werden

Wie verhindere ich, dass meine XML-Sitemap-Dateien in Google-Suchergebnissen wie dem folgenden Ergebnis einer site: -Suchabfrage angezeigt werden:

sitemap in search results

Ich verstehe nicht, warum Google zunächst Sitemap-Dateien in den Suchergebnissen anzeigt. Diese Dateien sind nicht für den menschlichen Verzehr bestimmt.

Google muss es crawlen können, damit es verarbeitet werden kann. Daher kann ich es nicht in robots.txt verbieten. Ich möchte nur nicht, dass sie es in die Suchergebnisse aufnehmen, nachdem sie es verarbeitet haben.

23

Google indiziert XML-Sitemaps (wie jede XML-Datei). Wenn Google eine URL kennt und eine gültige Antwort zurückgibt, besteht es die Einschlussregeln von Google und kann indiziert werden. Persönlich reiche ich die Sitemap nur über GWT ein und füge eine Sitemap: -Referenz in robots.txt ein. Dies ist mit Sicherheit ausreichend, um sie zu indizieren.

Die empfohlene Methode, um zu verhindern, dass diese Dateien von Google indiziert werden, besteht darin, beim Bereitstellen der XML-Sitemap den HTTP-Antwortheader X-Robots-Tag einzuschließen. Zum Beispiel:

X-Robots-Tag: noindex

Genau wie das Einbinden eines Robots-META-Tags in HTML-Dateien kann der Header X-Robots-Tag für jeden Dateityp verwendet werden.

Verweis: Dieses Dokument (von Nov 2008!) Scheint unser eigenes John Mueller (Google) in Bezug auf das zu zitieren Verwendung der Antwort X-Robots-Tag beim Umgang mit XML-Sitemaps.
Ja, Google indiziert und bewertet Ihre XML-Sitemap-Datei

Weitere Informationen finden Sie im Entwicklerhandbuch von Google:
Robots-Meta-Tag- und X-Robots-Tag-HTTP-Header-Spezifikationen

18
MrWhite

Die Antwort von MrWhite zur Verwendung von X-Robots-Tag scheint der richtige Weg zu sein.

Hier ist Code, der in .htaccess oder Apache Konfigurationsdateien verwendet werden kann um das zu tun. (Verweis: WebmasterWorld - Sitemaps, die in SERP angezeigt werden - Wie kann dies verhindert werden? )

<Files ~ "sitemap.*\.xml(\.gz)?$">
  Header append X-Robots-Tag "noindex"
</Files>

Unter nginx wäre die Konfiguration wie folgt. (Referenz: Yoast X-Robots-Tag-Beispiele )

location ~* sitemap.*\.xml(\.gz)?$ {
    add_header X-Robots-Tag "noindex";
}
8

Warum spielt es eine Rolle?

Wenn Sie Ihre Sitemap tatsächlich in SERP finden, haben Sie größere Probleme.

Ich würde mich stattdessen mehr darauf konzentrieren, Seiten mit nützlichen Inhalten aufzubauen. Auf diese Weise fällt es Ihnen sehr schwer, Ihre Sitemap zu finden. Nicht, dass es dich an diesem Punkt interessieren würde.

P.S.

Ziemlich jeder hält Sitemaps am selben Ort. Also, wenn jemand herausfinden wollte, wo Sie es aufbewahren, wird er es tun :)

2
dasickle