it-swarm.com.de

Wie finde ich den Referrer der Googlebot-Crawling-URL heraus?

Googlebot crawlt Hunderte von 404 URLs von meiner Website. Ich möchte wissen, woher diese Links stammen.

Gibt es so etwas wie HTTP Referrer?

Im Detail: Googlebot crawlt

  • example.com/no_such_files.php
  • example.com/not-there/no_such_files.php

Ich möchte wissen, woher Googlebot diese Links hat. Ich sehe in letzter Zeit viele URLs wie die oben genannten.

1
Mani

Der Googlebot sendet beim Crawlen Ihrer Website keinen HTTP-Referer-Anforderungsheader.

Der 404-Bericht in Google Search Console sollte Ihnen jedoch mitteilen, woher diese URLs stammen verknüpft mit:

  1. Crawl> Crawling-Fehler> Desktop | Smartphone
  2. Wählen Sie die Unterregisterkarte "Nicht gefunden".
  3. Die URLs, die 404-Werte generieren, sollten unten auf der Seite aufgelistet werden.
  4. Klicken Sie auf eine dieser URLs, um ein Popup mit weiteren Details zum Fehler anzuzeigen.
  5. Die Registerkarte "Verknüpft von" sollte alle URLs enthalten, die auf die 404-URL verweisen.

(Nicht als "repariert" markieren, da es sich um echte 404 handelt, die nicht "repariert" werden können.)

1
DocRoot