it-swarm.com.de

Sollte ich ein "nofollow" -Attribut hinzufügen, um Links herunterzuladen, oder die URLs in robots.txt nicht zulassen?

Ich habe einen Download-Link, der dem von Opera sehr ähnlich ist - es ist nur ein Skript, das die Datei sendet. Es hat keine Erweiterung und es gibt keinen offensichtlichen Weg zu sagen, dass es sich tatsächlich um einen Download-Link handelt.

Da ich nicht möchte, dass Robots diesen Link crawlen, muss ich ihn dann zu robots.txt hinzufügen oder ihm möglicherweise ein "nofollow" -Attribut hinzufügen? Ich sehe, dass sie auf der Website von Opera beides nicht gemacht haben, also ist es vielleicht nicht notwendig?

1
laurent

Um zu verhindern, dass Suchmaschinen und andere Roboter bestimmte URLs anfordern, müssen Sie diese URLs in Ihrer robots.txt -Datei nicht zulassen .

Das Hinzufügen des rel="nofollow" -Attributs zu Links könnte nicht verhindern, dass Roboter diesen Links folgen - teilt dies nur Suchmaschinen mit dass diese Links nicht als Vermerke jeglicher Art betrachtet werden sollten, z weil sie möglicherweise von nicht vertrauenswürdigen Dritten hinzugefügt wurden, und insbesondere, dass sie bei der Berechnung des PageRank oder anderer ähnlicher Link-Metriken nicht berücksichtigt werden sollten. Die genauen Details können jedoch zwischen den Suchmaschinen und möglicherweise auch im Laufe der Zeit für eine bestimmte Suchmaschine variieren.

Es gibt auch das gleichnamige nofollow -Attribut für das robots -Meta-Tag , das konforme Suchmaschinen anweist, keinem zu folgen Links von der markierten Seite. Dieses Tag gilt jedoch für alle Links auf der Seite, nicht nur für bestimmte. Außerdem verhindern weder Meta-Tags noch rel="nofollow", dass Suchmaschinen Ihre Download-URLs crawlen, wenn sie sie über einen Link finden, zu dem sie berechtigt sind Folgen Sie, entweder weil Sie vergessen haben, das Tag auf einer Seite zu platzieren, die auf die Download-URL verweist, oder weil eine andere Person die URL auf eine andere Site kopiert hat. Daher ist robots.txt in dieser Situation die einzige zuverlässige Lösung.

2
Ilmari Karonen

Es gibt keinen Grund, beides nicht zu tun. Sie könnten auch in Betracht ziehen, einen HTTP-Referer von Ihrer Site aus zu fordern - der einzige Bot, den ich gesehen habe, der Referrer-Header sendet, ist eigentlich kein Spider, sondern ein verteilter Versuch, die Sicherheitsanfälligkeit in ASP.Net Viewstate Oracle auszunutzen.

Ich habe ein Verzeichnis, auf dem ich das mache. Die .htaccess für dieses Verzeichnis ist

RewriteEngine On

RewriteCond %{HTTP_Host};%{HTTP_REFERER} !^([^;]+);http://\1(/.*)?$
RewriteRule .* /foro.htm [R]

(wobei /foro.htm die Seite ist, die in das Verzeichnis verlinkt - auf diese Weise werden Personen, die Links von anderen Websites folgen, nicht völlig durcheinander gebracht).

2
Peter Taylor

Beides sollte eigentlich nicht nötig sein. Die 'Erweiterung' am Ende einer Datei oder URL ist praktisch bedeutungslos - sie gibt einen Hinweis auf den Dateityp, aber offensichtlich können Dateien beliebig benannt werden. Im Web können Sie einen Dateityp im Format MIME-Typ angeben, das über den HTTP-Header Content-type angegeben wird. Beispielsweise hat ein JPEG-Bild den Mime-Typ image/jpeg.

Vor dem Herunterladen einer Datei überprüft ein Programm zunächst die HEAD-Antwort vom Server, damit es weiß, was mit dem Inhalt zu tun ist. Suchmaschinen tun dasselbe und setzen voraus, dass Sie korrekte Header senden (z. B. application/Zip für ZIP-Dateien oder application/octet-stream für generische Binärdateien), dass sie den eigentlichen Inhalt nicht herunterladen und sich an Dinge halten, die sie erkennen Webseiten und Bilder.

Trotzdem ist es wahrscheinlich am besten, den Zugriff auf die URLs zu blockieren, um auf der sicheren Seite zu sein. Ich würde sagen robots.txt ist der einfachste und beste Weg, dies zu tun. Sie können das Skript oder den Ordner blockieren, in dem sich das Skript befindet. Dies gilt auch für alle zukünftigen Downloads, die Sie hinzufügen.

1
DisgruntledGoat

Sie müssen keine Links mit Nofollow versehen, die absolut vertrauenswürdig sind. Es ist nicht erforderlich, es gibt keinen Grund, Ihren Seitenrang zu verbessern, wenn Sie dies anstreben.

Von SEOMoz und Matt Cutts

Beeinflusst die Anzahl der ausgehenden Links von einer Seite den PageRank?

Zum Beispiel, um "Link-Saft" zu konservieren und/oder diskreter zu träufeln, spielt es eine Rolle, ob ich drei ausgehende Links im Vergleich zu zwei habe? In der ursprünglichen PageRank-Formel floss der Saft in einer einfachen Formel von Passable PR, dividiert durch die Anzahl der ausgehenden Links, heraus. Aber heutzutage sagt Matt, es ist eine viel zyklischere, iterativere Analyse und "es macht wirklich nicht so viel Unterschied, wie die Leute vermuten." Es ist nicht erforderlich, Ihren gesamten Link-Saft auf Ihrer Seite zu horten, und in der Tat kann es von Vorteil sein, großzügig zu verlinken (nicht zuletzt aufgrund der Linkbuilding-Kraft des guten Willens).

http://www.seomoz.org/blog/whiteboard-interview-googles-matt-cutts-on-redirects-trust-more

Versuchen Sie andererseits, die Download-Datei vor allen Benutzern außer autorisierten Benutzern zu verbergen? In diesem Fall sollten Sie einen anderen Weg einschlagen und ein Skript verwenden, um den Download zu starten, wenn der Benutzer dazu berechtigt ist.

Wenn die Datei keine Rolle spielt, verlinken Sie sie einfach.

0
Anagio

Obwohl ich Ihre Frage verstehe, bin ich neugierig, warum Sie nicht möchten, dass sie indexiert wird. In letzter Zeit habe ich einige Lektionen über SEO für Nicht-HTML-Dokumente (wie .pdf und .docx) gelesen.

Wenn ich Transparenz bevorzuge, denke ich, wenn es sich nicht um eine Zahlungsseite oder etwas Ähnliches handelt (vertrauliche Informationen, die für meine Website nicht relevant sind), kann ich sie auch für alles melken, was es wert ist, SEO-bezogen ... und die Leute lieben kostenlose Sachen (wie Downloads).

Wie auch immer, ich halte es für eine gute Praxis, klar (normalerweise visuell) zu machen, dass es sich bei Download-Links um Downloads handelt (ich vermute aufgrund des Kontexts, den Sie bereits haben, indem Sie sie als Download-Schaltfläche oder so etwas gestalten). Obwohl ich nicht weiß, ob es noch von Yahoo! (oder wurde von anderen übernommen) Sie verwenden (d) (im Jahr 2008) eine 'noindex'-Klasse für einige Inhalte

0
adam-asdf