it-swarm.com.de

Soll ich den NOINDEX-Header für meine JS-, CSS- und Bilddateien festlegen?

Gibt es irgendwelche Schäden, wenn meine Site NOINDEX-Header für alle meine statischen Assets sendet?

Für Bilddateien beziehe ich mich auf solche ohne Wert, z. Hintergrundbilder, Schaltflächenbilder usw.

pdate: weitere Hintergrundinformationen

Ich habe die Sorge, dass Google seit kurzem auch JS ausführt und möglicherweise Inhalte über Ajax abruft. Wenn ich zum Beispiel noindex für mein jQuery-Skript sende, damit Google Ajax nicht damit laden kann, ist das vermutlich nicht gut für die SEO meiner Website, oder?

7
Yoga

(Ich arbeite mit den Crawler- und Indizierungsteams von Google.) Fangen wir mit dem einfachen an: Wenn Sie nicht möchten, dass diese Dateien für die Indizierung verwendet werden, können Sie das Crawlen der Skripte und Antworten einfach mit der Datei robots.txt verhindern. Dies verhindert, dass Googlebot auf die URLs zugreift, und verhindert natürlich auch, dass Googlebot sie für andere Zwecke verwendet. Die URLs selbst können indiziert werden (genau wie die URL, die auf Faktoren wie Links zu den URLs basiert, ohne dass sie gecrawlt wurden), aber sie können nicht verarbeitet oder ausgeführt werden. Unsere robots.txt Referenz hat mehr Einzelheiten für diejenigen, die Details lieben.

Wenn Sie dagegen den Inhalt (und möglicherweise die Antworten usw.) indizieren möchten, gehen Sie wie folgt vor: Wir empfehlen, den HTTP-Header noindex x-robots-tag nicht für eingebettete Inhalte (JavaScript, CSS) zu verwenden Zum Beispiel, wenn eine JavaScript-Datei eine AJAX -Anforderung zum Abrufen von Inhalten von Ihrem Server verwendet Wenn dann angezeigt wird, müssen alle diese Elemente erst gecrawlt werden (von der robots.txt-Datei nicht unzulässig), und es wird empfohlen, sie nicht mit einem "noindex" -x-robots-tag-HTTP-Header zu versehen. Wir können nicht garantieren, dass wir in der Lage sind, alles JavaScript zu verarbeiten und zu indizieren, aber unsere Systeme werden mit der Zeit besser und besser .

Im Allgemeinen verknüpfen die meisten Websites ihre JavaScript- oder CSS-Dateien nicht mit normalen HTML-Links, sondern verweisen lediglich auf sie in ihren HTML-Dateien. Aus diesem Grund werden diese Dateien zum größten Teil sowieso nicht separat indiziert (und selbst wenn ja, hat Ihre Website höchstwahrscheinlich relevanteren Inhalt als das, was wir in den JavaScript-Dateien finden :)).

8
John Mueller

Das wichtigste zuerst. Google indiziert bestimmte Dateitypen wie CSS, JavaScript, Bilder usw. nicht. Sie sagen jedoch, Google indiziert Bilder. Na ja und nein. Es indiziert Bilder, indem es den das Bild umgebenden Text und die dem Bild zugeordneten Verknüpfungswerte verwendet. Ja, Google hat einige dieser Dateien indiziert, obwohl die Schmerzen während der Aktualisierung ihrer Funktionen zugenommen haben. Google sieht dies jedoch nicht als Inhalt oder direkt als wertvoll an. Dies wurde mit vielen Versionen desselben JavaScript im Index entdeckt und das Geschwätz begann ernsthaft. Auch ich habe meine CSS-Datei vor Jahren indexiert gefunden, aber sie ist schon lange nicht mehr vorhanden. Das ist so 2009! Es sind alte Nachrichten, die nicht mehr zutreffen. Das ist es. Hier gibt es nichts zu befürchten.

Zweitens kann Google nicht auf alle Ajax-Elemente zugreifen - zumindest nicht auf Ajax-fähige Textfelder, wie sie von Google für die Suche verwendet werden. Tatsächlich beschreiben sie hier, wie Sie Ajax-Elemente crawlen lassen: https://developers.google.com/webmasters/ajax-crawling/ . Google kann und wird keine Werte in ein Ajax-fähiges Textfeld eingeben, um nach Inhalten zu suchen. Sie sagen es tatsächlich. Der Umfang von Google Ajax ist klar definiert und begann mit Facebook und Disqus für Kommentare. http://www.seroundtable.com/google-ajax-indexing-14241.html

Teil der Verwirrung sind frühe Berichte, dass Google JavaScript ausführt und auf Ajax zugreifen kann. In diesem Fall generiert JavaScript URLs. Dies war aus drei Gründen; Eine, um tiefer zu suchen und gültige Links nicht zu verpassen, zwei, um JavaScript für das Laden von Schlüsselwörtern zu evaluieren, und drei, um zu überprüfen, ob JavaScript aufgebläht ist. Später wurden andere Gründe hinzugefügt, wie z. B. Seitenvorschauen und Auswerten der Antwortzeiten. Damit kann Google das gesamte Potenzial einer Seite indizieren. Sie können den vollen Umfang hier sehen: https://www.distilled.net/blog/seo/google-stop-playing-the-jig-is-still-up-guest-post/

Um es klar auszudrücken: Bisher missbraucht Google keine Websites und Sie müssen sich keine Sorgen machen. Es sind keine Indizierungselemente, die Sie nicht indizieren möchten. Wenn Sie jedoch möchten, dass Google und andere auch BTW-Bing auf diese Elemente zugreifen, empfiehlt Google, wie gewohnt für jedes Element/jede Ressource in Ihrer robots.txt-Datei bestimmte Zeilen einzufügen. Sie können die Empfehlung auf dieser Seite lesen: http://googlewebmastercentral.blogspot.com/2011/11/get-post-and-safely-surfacing-more-of.html .

Ich möchte Sie jedoch davor warnen. Wenn Sie kein Problem haben, würde ich nichts unternehmen. Der Grund beantwortet den SEO-Teil Ihrer Frage. Das Blockieren einiger Elemente kann sich negativ auf Google und andere auswirken, da Ihre Website nicht ordnungsgemäß indiziert werden kann und die Ergebnisse vollständig relevant sind. Wenn Sie jedoch über ein JavaScript-Nachrichtenelement (echte Nachrichten und keine Site-Nachrichten) verfügen, kann dies zu einer Verzerrung Ihrer Suchergebnisse führen. In diesem Fall möchten Sie möglicherweise den Zugriff auf JavaScript mithilfe von robots.txt einschränken. Hier müssen Sie Ihre Denkmütze aufsetzen. Nimm dir Zeit. Es gibt keine Krise zu bewältigen. Wenn Sie Ihre Site evaluiert haben, treffen Sie fundierte Entscheidungen und ergreifen Sie Maßnahmen. Meistens sollten Sie überhaupt nichts tun müssen, es sei denn, ein JavaScript-Ergebnis repräsentiert nicht Ihr Inhaltsthema oder Google und andere lösen ein JavaScript aus und verursachen Probleme.

4
closetnoc

TLDR; Nr

Wenn ich zum Beispiel noindex für mein jQuery-Skript sende, damit Google Ajax nicht damit laden kann, ist das vermutlich nicht gut für die SEO meiner Website, oder?

Nein, Sie scheinen verwirrt zu sein, was NOINDEX tatsächlich tut.

NOINDEX: Ermöglicht das Crawlen anhand der darin enthaltenen Links. Verhindert die Indizierung (dies würde automatisch NOARCHIVE und NOSNIPPET einschließen)

NOFOLLOW: Ermöglicht die Indizierung (normalerweise nicht, aber möglicherweise). Das Crawlen, Verfolgen von Links und Anzeigen von Snippets ist nicht zulässig.

Was Google empfiehlt soll Bots erlauben, der Seite zu "folgen". Wenn Sie ein NOINDEX-Header-Tag festlegen, kann Google die Seite verfolgen/crawlen, aber nicht indizieren.

Aus diesem Grund sollten Sie NICHT das Tag "NOFOLLOW" setzen. Dies würde Bots blockieren, um dem Skript zu folgen und es zu analysieren. Das Setzen des NOINDEX-Tags ist in Ordnung.

PS: Dies entspricht Setzen des NOINDEX-Header-Tags auf Dateien wie "robots.txt" und "sitemap.xml" ". Weil Google sie ziemlich häufig indiziert.

Beispiel: www.google.com/search?q=filetype%3Atxt+%22robots%22&gws_rd=ssl

Für mehr:

3
user40461

wenn ich noindex für mein jQuery-Skript sende, damit Google Ajax nicht damit laden kann, ist es vermutlich nicht gut für die SEO meiner Website, oder?

Du hast recht, das ist nicht gut. Google weiß sehr gut, wie Sie Ihre CSS- und JavaScript-Dateien verwenden, um Ihre Website in den Suchergebnissen besser darzustellen.

Sehen Sie sich diese Lektion mit Matt Cutts über CSS, JavaScript, Crawlen und Indizieren an: https://www.youtube.com/watch?v=m293K8JR2j4

1
Marian Popovych