it-swarm.com.de

Wie sieht der Crawler nicht verknüpfte Verzeichnisse / Dateien?

Auf meiner Website wird ein Crawler ausgeführt, um auf defekte Links und dergleichen zu testen.

Zunächst wird eine URL wie www.domain.com verwendet

Eine merkwürdige Sache ist, dass es Verzeichnisse ohne interne Links zeigt. Zum Beispiel wird das Verzeichnis/beispiel_dir/im Durchforstungsbaum angezeigt, aber ich kann auf den Seiten keine interne Verknüpfung zu diesem Verzeichnis finden.

Wie könnte dies geschehen und gibt es eine Möglichkeit, dies zu verhindern?

5
edeneye

Mit welchem ​​Tool crawlen Sie Ihre Website?

Crawler finden neue Seiten in der Regel, indem sie Links folgen. Sie haben also wahrscheinlich einen Link, der auf diese Verzeichnisse verweist. Dies ist möglicherweise nicht beabsichtigt, z. B. eine dynamische Verknüpfung, die fehlerhafte Daten abruft, aber keinen Fehler ausgibt. Wenn Sie nicht Xenus Link Sleuth verwenden, empfehle ich die Verwendung, da Sie erfahren, auf welchen Seiten Links zum Crawlen dieser Verzeichnisse vorhanden sind.

3
John Conde

Ich vermute, Jon hat recht, Sie müssen irgendwo einen Link haben. Es wird möglicherweise nicht auf der Seite angezeigt, aber die Spinne findet es.

Vergessen Sie nicht, dass Code wie dieser <a href="/my_dir/"></a> happpen kann. Obwohl es für den Benutzer leer ist, folgt ihm die Spinne.

2
TheAlbear