it-swarm.com.de

Gibt es einen Grund, Yahoo! Schlürfen, um meine Website zu crawlen?

Ich dachte vor einem Jahr oder länger Yahoo! würde eine andere Suchmaschine für Ergebnisse verwenden und nicht mehr ihren eigenen Slurp-Bot verwenden. Einige der von mir verwalteten Websites von Yahoo! Slurp durchsucht weiterhin Seiten und scheint den Statuscode "Gone" zu ignorieren, wenn er zurückgegeben wird (da er immer wieder zurückkommt).

Gibt es einen Grund, warum ich Yahoo! Über robots.txt oder per IP schlürfen (da robots.txt in manchen Fällen sowieso ignoriert wird)?

Ich habe bestätigt, dass der Bot von Yahoo! IPs, also glaube ich, dass dies eine legitime Instanz des Bots ist.

Ist Yahoo Search jetzt dasselbe wie Bing Search? ist eine verwandte Frage, aber ich glaube nicht, dass sie vollständig beantwortet, ob ein neuer Block hinzugefügt werden soll des bot.

5
James Skemp

Ich wünschte, ich könnte den Artikel finden, den ich vor 3 Monaten gelesen habe. Die Kurzversion ist jedoch, dass Yahoo Bing Index (vollständig) und Algorithmus (meistens) verwendet. Yahoo kriecht immer noch mit seinem eigenen Bot, um kleine Änderungen an den Suchergebnissen und an anderen Projekten vorzunehmen.

Kurz gesagt, ein Verbot des Bots könnte Sie vollständig aus den Yahoo SERPs ausschließen (hätte jedoch keine Auswirkungen auf Bing).

UPDATE: Dieser Thread auf webmasterworld hat einige interessante Beiträge.

5
Chris Felstead