it-swarm.com.de

Wie funktioniert "Noindex:" in robots.txt?

Ich bin in meinen heutigen SEO-Nachrichten auf diesen Artikel gestoßen. Es scheint zu implizieren, dass Sie Noindex: Direktiven zusätzlich zu den Standard Disallow: Direktiven in robots.txt ​​verwenden können.

Disallow: /page-one.html
Noindex: /page-two.html

Es scheint, als würde dies verhindern, dass Suchmaschinen Seite eins crawlen und Seite zwei indizieren.

Wird diese robots.txt ​​-Richtlinie von Google und anderen Suchmaschinen unterstützt? Funktioniert es? Ist es dokumentiert?

10

Früher hat Google inoffiziell eine Noindex -Direktive in robots.txt unterstützt, aber im Jahr 2019 haben sie angekündigt , dass die Direktive nicht mehr funktioniert.

Dies ist, was Googles John Mueller über Noindex: in robots.txt sagt:

Früher haben wir die No-Index-Direktive in robots.txt als experimentelles Feature unterstützt. Aber darauf würde ich mich nicht verlassen. Und ich glaube nicht, dass andere Suchmaschinen das überhaupt nutzen.

Bevor Google bekannt gab, dass das Feature eingestellt wurde, führte deepcrawl.com einige Tests des Features durch und stellte fest, dass:

  • Vor 2019 funktionierte es noch mit Google
  • Es wurde verhindert, dass URLs im Suchindex angezeigt wurden
  • URLs, die in robots.txt nicht indiziert wurden, wurden in der Google Search Console als solche gekennzeichnet

Da Google das Feature eingestellt hat, sollte es nicht mehr verwendet werden.

Verwenden Sie stattdessen Robots-Metatags, die gut unterstützt und dokumentiert sind , um die Indizierung zu verhindern:

<meta name="robots" content="noindex" />
9