it-swarm.com.de

Warum ist Disallow: / search in der robots.txt von Blogger?

Kann mir jemand sagen, was dies in der "robots.txt" -Datei von Blogger bedeutet? Muss ich irgendetwas daran bearbeiten? Sollte ich /search aus der Disallow: -Zeile entfernen?

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://css3wdesign.blogspot.com/sitemap.xml
7
arximughal

Zusätzlich zur Antwort von closetnoc ...

Sollte ich /search aus der Disallow: -Zeile entfernen?

Nein. Es ist eine gute Idee, Bots daran zu hindern, Ihre Suchergebnisse zu crawlen (worauf ich mich beziehe).

Normalerweise möchten Sie nicht, dass Ihre Suchergebnisseiten auf den Suchergebnisseiten von Google angezeigt werden! Und Google will das auch nicht. Google möchte Ihre tatsächlichen Seiten indizieren und diese in den SERPs zurückgeben. Wenn Sie es Bots erlauben, Ihre Suchergebnisse zu crawlen (was möglicherweise unendlich sein kann), wird möglicherweise auch eine Menge unnötiger Bandbreite verbraucht.

Mediapartners-Google (Google AdSense-Bot) darf jedoch Ihre/Suchergebnisse crawlen. Ich halte dies für erforderlich, wenn Sie Anzeigen auf Ihren Suchergebnisseiten schalten möchten.

Muss ich irgendetwas daran bearbeiten?

Nicht, wenn Sie nicht möchten/müssen, dass einige Bots bestimmte Bereiche Ihrer Website crawlen. Beachten Sie, dass einige Bots Ihre robots.txt-Datei trotzdem vollständig ignorieren.

7
MrWhite

Robots.txt ist eine Methode, um Bots (Roboteragenten) mitzuteilen, wohin sie gehen können und wohin sie nicht. Es wird standardmäßig im Stammverzeichnis Ihrer Website abgelegt und ist leicht zu finden. Es ist wirklich so einfach.

In deinem Beispiel:

User-Agent: Mediapartners-Google ist nicht nicht erlaubt. Das Verbieten: mit nichts Folgendem ist ein Erlauben aller (ohne Einschränkung).

User-Agent: * ist eine Anweisung, die für alle Bots gilt, um den Zugriff auf URI/Suche (example.com/search) zu verweigern und den Zugriff auf die Site ansonsten zuzulassen.

Sitemap: teilt Bots mit, dass Ihnen eine Sitemap zur Verfügung steht. Eine Sitemap ist eine XML-formatierte Datei (eine standardisierte Datenauszeichnungssprache), in der die Seiten Ihrer Website aufgelistet sind. Dies ist praktisch für Suchmaschinen, um die Seiten Ihrer Website zu kennen. Sitemaps sind jedoch nicht immer erforderlich. Wenn einige Seiten für eine Suchmaschine nicht leicht verfügbar sind, erleichtert die Sitemap der Suchmaschine das Auffinden unserer Seite.

3
closetnoc

Robots.txt ist eine Datei, die andere Websites, ISPs und Suchmaschinen verwenden, um Sie zu "fragen", was in Ordnung ist, zu besuchen. Es ermöglicht Ihnen, alle oder bestimmte Bots aus Bereichen Ihres Reiches auf die Whitelist oder Blacklist zu setzen. Es ist wie ein Vertrag. Es ist ein Versprechen. Gute Dinge halten das Versprechen, schlechte Dinge nicht.

soweit es die Suche betrifft: Ich stimme zu, dass es in der Vergangenheit keine gute Praxis war, Robotern zu erlauben, auf die Suche zuzugreifen. Heutzutage erlaubt Google, die Suche aufzurufen kann gut funktionieren; zumindest in bestimmten Nischen; und Sie brauchen nicht einmal Such-Caching.

Die robots.txt-Dateien auf unseren Plattformen variieren, aber wir lassen die Suche immer unzulässig auskommentiert (AKA-Robots dürfen suchen, aber sie können bei Bedarf kommentarlos entfernt werden). Es gibt einige Gründe:

  • Füllt SEO aus - manchmal sehen Sie ein Popup-Fenster mit Suchergebnissen für Kategoriennischen, die Sie verpasst haben.
  • Füllt LSI aus - unterstützt Sie beim automatischen Erstellen von Organics aus Organics
  • Kann helfen RDF - Dies ist Edge , aber das Ermöglichen der Suche durch G kann dazu führen, dass Rich Snippets schneller angezeigt werden
  • Macht Autorität - Sehen Sie eine Suchseite SERP Ergebnis dominierende organische Stoffe? Verwandle es in einen Lander, um PR zu erhalten
  • Hilft G zu verstehen - zwischen der Tabulatorsuche in der Adressleiste, dem Analytics Search Teach und den Abfragezeichenfolgenparametern der Webmaster-Tools wird G verstehen und helfen.

Suchen Sie nach Bereichen in G Analytics, G Webmaster-Tools und anderen G-Bereichen, um die Suche jetzt und in Zukunft einzurichten.

2
dhaupin