it-swarm.com.de

Soll ich nofollow für interne Links verwenden, die nicht gecrawlt werden müssen?

Wir haben eine Produktnavigations-Engine, mit der unsere Kunden Produkte nach Attributen (Größe, Farbe usw.) filtern können. Wir implementieren ein Upgrade, mit dem sie "Mehrfachauswahl" -Verfeinerungen verwenden können. Grundsätzlich können sie sagen "zeig mir alle roten, blauen und grünen Produkte". Wir möchten, dass die Suchmaschinen nur die erste Seite crawlen, ohne sie zu verfeinern. Wir haben die Kanonik der Seite mit Verfeinerungen auf diejenige ohne Verfeinerungen gesetzt.

Vom Standpunkt der Systemressourcen aus bin ich mir nicht sicher, ob ich alle diese Verfeinerungslinks auf Google crawlen möchte. Die Links, die diese Verfeinerungen generieren, können je nach der Reihenfolge der Verfeinerungen, der Anzahl der ausgewählten Links usw. exponentiell unterschiedlich sein. Es scheint nur eine Verschwendung für Google zu sein, diese Seiten zu indizieren.

Sollte ich diese Verfeinerungs-URLs mit einem No-Follow-Tag versehen, damit sie von Google nicht gecrawlt werden?

5
Paul Lemke

Nofollow hindert Google nicht daran, Seiten zu crawlen, sondern verhindert, dass "Link-Juice" an diese Seiten weitergeleitet wird.

Robots.txt ist das, was Sie verhindern möchten, dass Google Seiten crawlt.

http://www.robotstxt.org/robotstxt.html

4
Anonymous

Wenn Sie sicher sind, dass Google alle Ihre Produkte erreicht, und Sie anscheinend kanonische URLs verwenden, sollten Sie verhindern, dass Google diese Seiten crawlt, da nur Ihre Bandbreite aufgebraucht wird und Serverressourcen.

Die Verwendung von nofollow für interne Links ist ein guter Anfang. Ich würde auch erwägen, das Robots-Meta-Tag oder X-Robots-Tag-HTTP-Heade r zu verwenden, um sie anzuweisen, es auch nicht zu indizieren. Auf diese Weise können Sie sicher sein, dass diese URLs auch dann nicht durch externe Links indiziert werden, wenn sie diese URLs finden. Das Blockieren über robots.txt ist auch eine gute Sache, da Sie verwenden Sie Wildcards, um die Seiten mit Abfragezeichenfolgen abzufangen usw. können.

1
John Conde

Da Sie erwähnt haben, dass die Seiten "exponentiell unterschiedlich" sein können, möchten Sie möglicherweise die Verwendung des Metatags "follow, noindex" in Betracht ziehen. Die verschiedenen Klassifizierer können Google zusätzliche Informationen zum Produkt bereitstellen, sodass es möglicherweise von Vorteil ist, sie über die zusätzlichen Informationen zu informieren Inhalt, auch wenn Sie ihn nicht indizieren möchten (dies kann bei Long-Tail-Abfragen hilfreich sein).

1
Joshak