it-swarm.com.de

Wie kann ich steuern, wie oft Suchmaschinen meine Website besuchen?

Ich verwende seit Jahren die folgende Zeile in <head> meiner Websites:

<meta name="revisit-after" content="3 days" />

Ich habe kürzlich herausgefunden, dass es nicht eines von den Meta-Tags ist, das Google versteht, was ich damit meine, dass es keinen Sinn macht, es aufzunehmen, und dass es seit Jahren überhaupt nichts Gutes tut.

Wie oft crawlen Suchmaschinen standardmäßig eine Website und wie können Sie diese Häufigkeit zuverlässig erhöhen oder verringern?

12
Nick

Sie können steuern, wie schnell Google Ihre Website in den Google Webmaster-Tools crawlt .

Die Crawling-Rate für Ihre Website bestimmt die Zeit, die Googlebot für das Crawlen Ihrer Website bei jedem Besuch verwendet. Unser Ziel ist es, Ihre Website gründlich zu crawlen (damit Ihre Seiten indiziert und in Suchergebnissen angezeigt werden können!), Ohne dass die Bandbreite Ihres Servers spürbar beeinträchtigt wird. Während es den meisten Webmastern gut geht, die Standardeinstellung für das Crawlen zu verwenden (d. H. Es sind keine Änderungen erforderlich, mehr dazu weiter unten), haben einige Webmastern möglicherweise spezifischere Anforderungen.

Der Googlebot verwendet ausgefeilte Algorithmen, die bestimmen, wie oft die von ihm besuchten Websites gecrawlt werden. Für die überwiegende Mehrheit der Websites ist es wahrscheinlich am besten, die Option "Google ermittelt meine Crawling-Rate" zu wählen. Dies ist die Standardeinstellung. Wenn Sie jedoch ein erfahrener Benutzer sind oder Probleme mit der Bandbreite Ihres Servers haben, können Sie die Crawling-Geschwindigkeit an die für Ihre Webserver optimale Geschwindigkeit anpassen. Mit der benutzerdefinierten Durchforstungsrate können Sie Googlebot Einblick in die maximale Anzahl von Anfragen pro Sekunde und die Anzahl von Sekunden zwischen Anfragen gewähren, die Sie für Ihre Umgebung für am besten halten.

Der Googlebot bestimmt den Bereich der Werte für die Crawling-Rate, der in den Webmaster-Tools verfügbar ist. Dies basiert auf unserem Verständnis der Funktionen Ihres Servers. Dieser Bereich kann von Standort zu Standort und im Laufe der Zeit aufgrund verschiedener Faktoren variieren. Wenn Sie die Durchforstungsrate auf einen niedrigeren Wert als den Standardwert festlegen, kann sich dies auf die Abdeckung und Aktualität Ihrer Website in den Suchergebnissen von Google auswirken. Wenn Sie jedoch einen höheren Wert als den Standardwert festlegen, wird Ihre Abdeckung oder Ihr Ranking nicht verbessert. Wenn Sie eine benutzerdefinierte Crawling-Rate festlegen, bleibt die neue Rate 90 Tage lang gültig. Danach wird sie auf den von Google empfohlenen Wert zurückgesetzt.

Sie können diese Einstellung nur für Websites auf Stammebene und für Websites verwenden, die nicht in einer großen Domain wie blogspot.com gehostet werden (wir haben spezielle Einstellungen für sie zugewiesen). Melden Sie sich bei den Webmaster-Tools an und rufen Sie die Registerkarte "Einstellungen" auf, um die Einstellung für die Durchforstungsrate zu überprüfen. Wenn Sie weitere Fragen haben, besuchen Sie die Webmaster-Hilfe, um mehr darüber zu erfahren, wie Google Ihre Website crawlt, oder veröffentlichen Sie Ihre Fragen im Webmaster-Hilfeforum.

Andernfalls müssten Sie wahrscheinlich ein eigenes Filtersystem erstellen, das die Benutzeragenten aufspürt und Suchmaschinen-Bots zulässt oder ablehnt, die auf ihren Benutzeragenten basieren. Dies würde sich jedoch nur auf die Verringerung der Häufigkeit auswirken.

10
John Conde

Um den zweiten Teil Ihrer Frage zu beantworten, können Sie Google mithilfe der Webmaster-Tools mitteilen

So ändern Sie die Durchforstungsrate:

  1. Klicken Sie auf der Homepage der Webmaster-Tools auf die gewünschte Site.

  2. Klicken Sie unter Site configuration auf Settings.

  3. Wählen Sie im Abschnitt Crawl rate die gewünschte Option aus.

https://www.google.com/support/webmasters/bin/answer.py?answer=48620&hl=de_DE

In den Bing FAQ wird auf diesen Beitrag verwiesen, der die Einstellung von Crawl-Delay: X empfiehlt, wobei x die Anzahl der Sekunden ist, die zwischen den einzelnen Anforderungen gewartet werden muss.

Natürlich geben Sitemaps an, wie oft sich die Seiten ändern.

7
paulmorriss