it-swarm.com.de

Crawlen Suchmaschinen immer noch eine Noindex-Seite?

Crawlen Suchmaschinen eine Seite, die ein 'noindex'-Metaattribut hat?

Der Grund, den ich frage, ist, dass wir durch facettierte Navigation nahezu doppelten Inhalt haben und auf den gefilterten Seiten "noindex" angegeben ist. Ich habe mich gefragt, ob diese Seiten immer noch als Duplikate erkannt werden.

Muss ich dem Link ein Nofollow-Attribut hinzufügen, während wir diese Seiten einzigartig machen?

7
GrapeSoda

Wie Goyllo bereits ausgeführt hat, crawlen Suchmaschinen-Bots Seiten, die ein noindex -Meta-Tag aufweisen. Wenn Sie darüber nachdenken, müssen sie müssen die Seite crawlen, um das Meta-Tag noindex zu sehen. (Sie könnten stattdessen einen HTTP-Antwortheader X-Robots-Tag verwenden, und theoretisch müsste ein Bot nur eine Anforderung HEAD ausführen, um das Attribut noindex anzuzeigen. Dies ist jedoch nicht der Fall wie Google rollt.)

Wenn eine Seite noindex ist, kann sie immer noch follow sein (was standardmäßig der Fall ist, es sei denn, Sie geben ausdrücklich nofollow an), sodass die Seite offensichtlich gecrawlt werden muss um Links zu entdecken, denen Sie folgen müssen.

Muss ich dem Link ein Nofollow-Attribut hinzufügen, während wir diese Seiten einzigartig machen?

Das reduziert einfach diesen bestimmten Link aus dem Ranking-Algorithmus. Dieser bestimmte Link wird also nicht als Ranking-Faktor für die Ziel-URL verwendet. Ich nehme an, dass es höchstwahrscheinlich auch andere eingehende Links zu dieser Seite gibt.

... auf den Seiten steht 'noindex' und ich habe mich gefragt, ob diese Seiten immer noch als Duplikate erkannt werden?

Duplikat von was? Eine Seite kann (in den Augen des Suchmaschinenindex) nur dann als Duplikat betrachtet werden, wenn sie indexiert ist. Wenn es nicht indiziert ist, kann es kein Duplikat sein.

Das Problem mit doppeltem Inhalt besteht darin, dass die Suchmaschine entscheiden muss, welche Seite in den SERPs zurückgegeben werden soll, wenn zwei (oder mehr) Seiten gecrawlt und indiziert ​​wurden. Wenn Sie diesen doppelten Inhalt nicht selbst auflösen (Weiterleiten, kanonisches Tag oder einfach den Inhalt eindeutig machen), liegt es außerhalb Ihrer Kontrolle - die Suchmaschine trifft die Entscheidung für Sie. Sie können Ihr Suchranking auch verwässern, wenn Nutzer verschiedene Seiten entdecken und auf die eine oder andere Seite verlinken.

Um zu verhindern, dass eine Seite gecrawlt ​​(dh nicht einmal angefordert) wird, können Sie einen Eintrag in Ihre robots.txt -Datei aufnehmen. Dies bedeutet jedoch, dass die Suchmaschinen Ihr Meta-Tag noindex nicht sehen können. Dies sollte zwar verhindern, dass die Seite in normal Suchergebnissen angezeigt wird, verhindert jedoch nicht unbedingt, dass die Seite in den SERPs (dh "indexiert") als reines Link-Ergebnis angezeigt wird, wenn eine Verknüpfung zu ihr besteht . Es kann jedoch immer noch nicht als "doppelt" betrachtet werden, da der Inhalt nicht gelesen und indiziert ​​wurde.

7
MrWhite

Ja, Google crawlt weiterhin Websites, die kein Index-Tag aufweisen.

Wenn Sie jedoch denselben Inhalt auf zwei verschiedenen Webseiten haben und eine URL das Tag noindex enthält, während die zweite Seite das Tag noindex enthält, sollten Sie sich darüber keine Sorgen machen, da von allen doppelten Inhalten nur eine Webseite von Google indiziert wird. Die übrigen Webseiten können gecrawlt werden, sind jedoch nicht im Google-Suchergebnis indiziert. Das ist in Ordnung.

9
Goyllo