it-swarm.com.de

Grundlegendes zu Google Crawl Stats

Ich habe meine Website im Januar '11 gestartet und sie ist in Google indexiert, was großartig ist - ungefähr 300 Seiten Inhalt bis jetzt. Ich versuche zu verstehen, was in den Crawling-Statistiken Ende Juni und Anfang Juli passiert ist. Was hat den massiven Aufstieg verursacht? Was bedeutet es für die Zukunft? Gibt es noch etwas, was ich tun sollte?


enter image description here

11
Ubique

Wenn Sie das Gefühl haben, dass Ihre Website überlastet wird (möglicherweise fehlen sogar tiefere Inhalte), sollten Sie sicherstellen, dass Ihre HTTP-Header gute Werte für Dinge wie "zuletzt geänderte" Zeit usw. zurückgeben. Möglicherweise überschätzt Googlebot das Ausmaß, in dem sich Ihre Website ändert . Als Bonus verhält sich Ihre Site in Bezug auf Caching (sei es Proxy oder Browser-basiert) besser und fühlt sich daher etwas schneller an.

Sie sollten gut untersuchen, welche URLs gecrawlt werden (indem Sie Ihre Serverprotokolle überprüfen). Wenn sie dieselbe URL immer wieder neu crawlen, haben Sie definitiv ein Problem. Eine übliche Variante ist, wenn Sie eine Seite haben, die mit Anforderungsvariablen auf viele verschiedene Arten angezeigt werden kann. Googlbot kann versuchen, jede mögliche Kombination dieser Variablen zu crawlen.

Ein Beispiel, auf das ich als Crawl-Operator gestoßen bin, war eine Seite mit einer Liste von zwanzig Überschriften, von denen jede Kombination erweitert werden kann. Grundsätzlich hatte diese Seite 2 ^ 20 verschiedene URLs!

Stellen Sie sicher, dass der Googlebot nicht im Grunde immer wieder auf der gleichen Seite mit trivial unterschiedlichen Parametern gecrawlt wird.

2
Kris

Ich schätze, Google ändert die Crawling-Rate mit dem Alter der Website, der Beliebtheit (Links zu Ihrer Website), dem Markup und dem Header, den korrekten Site-Maps usw. Sie haben auch vor einiger Zeit ihren Crawler geändert, sodass Inhalte jetzt viel schneller als früher in den Suchergebnissen angezeigt werden können (mindestens 2 Wochen vor dem Wechsel).

Als ich vor 2 Jahren meinen Blog veröffentlichte, brauchte Google Monate, um alle Inhalte und Wochen zu indexieren, um neue Beiträge zu indexieren. Jetzt sehe ich jeden Beitrag in den Suchergebnissen am selben Tag, an dem ich ihn veröffentliche.

So einfach, Google mag keine neuen Websites, respektiert aber die Ältesten.

1
Anton