it-swarm.com.de

Google indiziert unbeabsichtigten Inhalt, der entweder nicht veröffentlicht oder ein geheimer Teil der Website ist

Google indiziert Teile meiner Website, die ich nicht verlinkt habe. Es handelt sich um eine mobile Version der Website, an der ich arbeite. - www.domain.com/m/ <- Beachten Sie das M.

Wie ist das überhaupt möglich? Mir fällt nur ein, dass Google die URLs von Google Analytics abruft.

Dasselbe Problem mit meiner Entwicklungssite, dev.domain.com - Dies habe ich durch erneutes Aktivieren von htpasswd behoben. Hatte es einmal, aber für einige Testzwecke deaktiviert.

Ich weiß, dass ich robots.txt verwenden könnte, um die Indizierung zu überspringen, aber es wurde mir immer gesagt: "Stecke keine super geheimen Sachen in diese, da sie gemeinfrei sind".

Wird Google die Regeln eines <meta name="robots" content="noindex,nofollow"> befolgen? Denken Sie daran, dies auf die mobile Version zu setzen.

Personen, die über ein Smartphone auf www.domain.com zugreifen, werden automatisch zur mobilen Version umgeleitet.

3
Phliplip

Es gibt verschiedene Theorien, wie Google weiß, was zu crawlen ist. Es kann sein, dass jemand mit Ihrer mobilen Version verlinkt ist. Möglicherweise hat Google zufällige URLs ausprobiert und ist auf die/m-Version Ihrer Website gestoßen. Mir ist nicht bekannt, dass sie angeben, keine URLs aus ihren Analysedaten zu verwenden.

Ja, sie befolgen diese Regeln: http://googlewebmastercentral.blogspot.com/2007/03/using-robots-meta-tag.html .

5
paulmorriss

Es liegt im Interesse von Google, das gesamte öffentliche Web zu indizieren, einschließlich der Inhalte, die keine Hyperlinks von vorhandenen indizierten Inhalten enthalten.

Die Verwendung von http://m.example.com oder http://example.com/m/ für die URL einer mobilen Version einer Site ist weit verbreitet.

Es ist daher anzunehmen, dass der Crawler von Google erkennt, ob http://m.example.com oder http://example.com/m/ vorhanden ist, und versucht, diesen Inhalt zu indizieren, wenn er gefunden wird.

Es ist auch anzunehmen, dass Google Mobile versucht, zu bekannten Inhalten festzustellen, ob eine geeignet aussehende http://m.example.com oder http://example.com/m/ URL vorhanden ist, und diese als Link zu einem Nutzer in den Suchergebnissen darstellt. Es gibt keinen Grund zu der Annahme, dass eine solche Wahrsagerei nicht auf den Crawler zurückwirft.

0
Jon Cram

Wenn Sie Google Analytics auf Ihrer Website installiert haben, ist dies mit ziemlicher Sicherheit der Grund, warum Google Analytics davon Kenntnis hat. Ich kenne den Code nicht ganz genau, aber wenn ich später eine Chance bekomme, werde ich ihn durchsuchen und diesen Beitrag bearbeiten, aber es gibt Code, den Sie auf Ihren Seiten ablegen können, um das Crawlen auf Seiten zu verhindern, die privat sein sollen .

0
Kenneth