it-swarm.com.de

Indiziert Googlebot meine index.php auch mit einer htaccess-Weiterleitung?

Mithilfe einer Umleitungsanweisung in meiner htaccess-Datei können Personen, die Folgendes in die Adressleiste eingeben ...

http://example.com/index.php

... werden weitergeleitet an ...

http://example.com/

Ich habe auch ein No-Index-Nofollow-Meta-Tag auf allen Seiten meiner Website.

Meine Frage ist, angesichts des Umleitungsverhaltens und der Metadaten, dass Googlebot meine Hauptseite (d. H. Index.php) indiziert, wenn meine robots.txt-Datei wie folgt lautet ...

User-agent: Googlebot
Allow: /index.php
Disallow: /

User-agent: *
Disallow: /

Wenn nicht, wie soll ich meine robots.txt so ändern, dass nur meine Hauptseite in Google indiziert wird und nicht mehr?

Danke im Voraus!

3
Wislow

Wenn Sie zu "/" umleiten, aber nur zulassen, dass "/index.php" indiziert wird, wird nichts indiziert. Für Sie sind "/" und "/index.php" dieselbe Seite. Bei den Suchmaschinen handelt es sich jedoch um zwei separate URLs. Indem Sie "/" blockieren, was anscheinend die einzige Seite ist, die Benutzer sehen, blockieren Sie Ihre gesamte Website.

Wenn Sie die Indizierung genauer steuern möchten, verwenden Sie die oben genannten Meta-Tags und/oder den HTTP-Header x-robots-tag, um die Indizierung zu steuern. Verwenden Sie speziell X-Robots-Tag: noindex auf allen Ihren Seiten außer für die index.php. In diesem Fall muss die Datei robots.txt nicht verwendet werden. Ich habe irgendwo gelesen, dass der HHTP-Header effektiver und die bevorzugte Methode ist, um die Indizierung von Seiten zu blockieren, aber ich kann diesen Artikel derzeit nicht finden.

1
John Conde

John Conde bereits erklärt dass Ihre aktuelle Lösung nicht funktioniert (+1), da Googlebot die Regeln erst auswertet, nachdem Sie bereits umgeleitet wurden, und Disallow: / befolgt, um dementsprechend alle URLs einschließlich Ihres Roots zu blockieren/Hauptseite danach.

Für Googlebot können Sie jedoch die Erweiterungen des offiziellen robots.txt-Protokolls (siehe Abschnitt Mustererkennung innerhalb von Blockieren oder Entfernen von Seiten mithilfe von) vereinfachen eine robots.txt-Datei ), wie folgt:

User-agent: Googlebot
Allow: /$
Disallow: /

Das $ -Zeichen stimmt mit dem Ende einer URL überein, daher lässt die Allow: /$ -Direktive jede URL zu, die mit Ihrem Domain-Namen beginnt, gefolgt von nichts, dh lassen Sie Ihre Stamm-/Hauptseite zu nachdem bereits von index.php umgeleitet wurde.

Die Anweisung Disallow: / blockiert danach wie gewohnt alle anderen URLs.

Ich habe dies gerade erfolgreich mit dem robots.txt-Testtool in Google Webmaster-Tools (dort verfügbar über Crawler-Zugriff unter getestet Site-Konfiguration ), damit Sie dies auch gleich selbst bestätigen können - Ein Blick in diese unschätzbare Auswahl an Tools/Informationen rund um SEO im Allgemeinen und Google im Besonderen ist Trotzdem sehr zu empfehlen!

1
Steffen Opel

Es ist riskant. Gehen Sie folgendermaßen vor, um sicherzustellen, dass Google Ihre Startseite indiziert:

User-agent: *
Allow: /index.php
Disallow: /a
Disallow: /b
...
Disallow: /z
Disallow: /0
...
Disallow: /9

Dein root "/" wird also nicht mit den Verbotsregeln übereinstimmen.

Auch wenn Sie AdSense haben, vergessen Sie nicht hinzuzufügen

User-agent: Mediapartners-Google
Allow: /
0
how