it-swarm.com.de

Wie verhindere ich, dass Google AJAX Aufrufe in Javascript indiziert?

Bei Google EG werden einige merkwürdige Ergebnisse angezeigt:

http://www.somedomain.com/somepage/AjaxFunction.aspx?stuff=XXX&other=XXX 

Wenn ich mir "somepage" anschaue, wird die Ajax-Funktion im HTML-Code überhaupt nicht erwähnt, weshalb ich annehme, dass Google die externen Javascript-Dateien ausspinnt und diesen AjaxFunction.aspx-Aufruf findet.

Meine Frage ist: a) Ist das möglich? b) Wenn ja, wie kann ich damit aufhören?

5
Strontium_99

Ich würde die Ajax-Funktion in robots.txt einfügen:

Disallow: /somepage/AjaxFunction.aspx

Das verhindert, dass Google es crawlt. Google indiziert normalerweise keine URLs, die nicht gecrawlt werden können. Sie werden nur dann indiziert, wenn sie prominent verlinkt sind, insbesondere zahlreiche externe Links. Auch wenn Google die URL indiziert, wird der Inhalt der URL nicht indiziert. Google zeigt "Diese Seite wurde von robots.txt blockiert" in den Suchergebnissen an.

In vielen Fällen ist es tatsächlich wünschenswert, Google das Crawlen von Ajax-URLs zu ermöglichen. Diese URLs enthalten möglicherweise Inhalte, die Google indizieren soll, nachdem JavaScript sie auf eine andere Seite geschrieben hat. In diesem Fall ist robots.txt nicht geeignet. Sie möchten nur nicht, dass Google die Ajax-URL selbst in die Suchergebnisse aufnimmt. Sie können dafür eine Header-Direktive verwenden:

X-Robots-Tag: noindex

Auf einem Apache-Server können Sie diesen Header mit . Htaccess Code wie folgt hinzufügen:

<Files "AjaxFunction.aspx">
    Header append X-Robots-Tag "noindex"
</Files>

In Aspx-Code können Sie es einstellen wie folgt :

<% Response.AddHeader "X-Robots-Tag", "noindex" %> 
3