it-swarm.com.de

Wie verstecke ich Seiten vor dem Google Crawler?

Mögliches Duplizieren:
Was sind die wichtigsten Dinge, die ich tun muss, um Google Sitelinks zu fördern?

Ich arbeite zurzeit an einer Website und muss bestimmte Seiten vor dem Google-Crawler verbergen. Wie mache ich es so, dass Suchmaschinen nur das sehen, was ich möchte, dass sie in einem Verzeichnis sehen?

Außerdem wissen Sie, wie Google-Ergebnisse Ihnen auch Verknüpfungen wie "Anmelden", "Info" usw. geben. Wie können diese Links in das Suchergebnis übernommen werden?

2
NoobDev4iPhone

Sie können auch <meta name="robots" content="noindex,follow" /> verwenden.

2
v2p

Sie können ein robots.txt erstellen, das diese Speicherorte nicht zulässt.
Beachten Sie, dass nicht alle Crawler robots.txt respektieren.

Außerdem ist robots.txt der erste Ort, auf den ein Angreifer schaut.
Sie sollten diese Seiten mit einem sicheren Authentifizierungssystem schützen.

1
SLaks
1
swatkins

Wenn Sie möchten, dass Google keine bestimmten URLs auf Ihrer Website auflistet, fügen Sie diese zu robots.txt im Stammverzeichnis Ihrer Website hinzu.

Example robots.txt:
User-agent: *
Disallow: /donotindex/

Beachten Sie, dass dies nicht sicher ist. Sie "bitten" Google lediglich, sie nicht zu indizieren/aufzulisten. Google wird dieser Aufforderung nachkommen. Erfahrene Benutzer und einige Crawler mit schlechtem Benehmen verwenden die URLs jedoch unabhängig davon oder listen sie auf.

Wenn Sie den Inhalt ausblenden müssen, müssen Sie ihn hinter eine Anmeldeseite stellen (die Crawler nicht verwenden können) oder Ihren Inhalt basierend auf dem Benutzeragenten des Clients (des Browsers) ändern. Ich glaube, letzteres wird von Google ausdrücklich abgelehnt und sie können Ihre Website dafür bestrafen, dass sie unterwegs ist.

1
Garrett Smith