it-swarm.com.de

PageRank: Werden Links, die auf durch robots.txt geschützte Seiten verweisen, weiterhin gezählt?

Wenn jeder einzelne Link zu einer bestimmten Website, www.example.com, auf eine Seite in einem bestimmten Unterverzeichnis verweist (d. H. Www.example.com/user/[something]), dieses Verzeichnis jedoch gemäß robots.txt, d. H.

User-agent: *
Disallow: /user/

da ich nicht möchte, dass diese Seiten in den Google-Suchergebnissen angezeigt werden, schieße ich mir in Bezug auf den PageRank selbst in den Fuß? Zählt der eingehende "Link-Saft" noch, wenn die Zielseite in meiner robots.txt für Google verboten ist?

3
Mala

Zu Ihrer Frage: "Zählt der eingehende Link-Saft noch, wenn die Zielseite in meiner robots.txt-Datei für Google verboten ist?" - Ich würde sagen, dass der PageRank berechnet wird, auch für noindex/nofollow URIs:

Obwohl Google den Inhalt von Seiten, die von robots.txt blockiert wurden, nicht crawlt oder indiziert, können wir die URLs dennoch indizieren, wenn wir sie auf anderen Seiten im Web finden. Infolgedessen können die URL der Seite und möglicherweise andere öffentlich verfügbare Informationen wie Ankertext in Links zur Website oder der Titel aus dem Open Directory-Projekt in den Google-Suchergebnissen angezeigt werden.

Google Webmaster Central: Sperren oder Entfernen von Seiten mithilfe einer robots.txt-Datei

Beispiel: In meiner Domain "working-model.com" wurde eine all-exklusive robots.txt angegeben, so lange ich mich erinnern kann, jedoch a Google-Suche nach working-model.com (oder Yahoo-Suche oder Bing-Suche ) zeigt einen Rang für die Domain (wahrscheinlich als Ergebnis einer Domain WHOIS-Website Verknüpfung in).

3
danlefree

Auch wenn die Seite nicht von Google indiziert wurde, wird ihnen der PageRank zugewiesen. Dies bedeutet, dass Sie durch das Verknüpfen mit ihnen PR "verlieren", da diese PR einfach verloren geht, anstatt an andere Links weitergeleitet zu werden. Dies entspricht im Wesentlichen der Verwendung von nofollow für einen Link. Wenn Sie also auf interne Seiten verlinken, die mit robots.txt blockiert sind, verringern Sie im Wesentlichen die Menge an PR, die Sie an die zulässigen Seiten Ihrer Website weiterleiten.

Weitere Informationen hierzu finden Sie in diesem Blogeintrag.

2
John Conde

Ja, Google weist PageRank URLs zu, die automatisiert sind, aber nein, Sie schießen sich nicht in den Fuß, wenn Sie solche URLs haben oder auf sie verlinken. Die Zeit, die Sie für die Optimierung Ihres wahrgenommenen PageRank-Flusses aufwenden, wird im Allgemeinen viel besser für die Bearbeitung Ihrer Inhalte verwendet.

Der einzige Grund, warum Sie darauf achten sollten, ist, dass Sie mit robots.txt keine doppelten Inhalte kontrollieren können. Da die automatisierten URLs PageRank erfassen können und Google nicht bestätigen kann, dass es sich um Duplikate handelt (was bei einem Crawling möglich wäre), kann Google sowohl die automatisierte, nicht gecrawlte URL als auch die gecrawlte Version mit indizieren der gleiche Inhalt. Es ist viel besser, das Crawlen von doppelten Inhalten zuzulassen und eine der üblichen Kanonisierungsmethoden zu verwenden (z. B. eine 301-Umleitung oder ein rel = kanonisches Linkelement).

1
John Mueller