it-swarm.com.de

Warum fordert der Bing-Bot diese URL an?

Beim Überprüfen der Serverprotokolle habe ich festgestellt, dass der Bing-Bot diese URL häufig anfordert.

RL: /da-net/products/cadpac/cadpac_jis.shtml

Browser: Mozilla/5.0 (kompatibel; Bingbot/2.0; + http: //www.bing.com/bingbot.htm)

Kann mir jemand das erklären?

2
Adeel

Es liegt wahrscheinlich daran, dass Sie einen Link zu dieser Seite haben. Höchstwahrscheinlich haben Sie einen ../../cadpac/cadpac_jis.shtml-Link, der sich auf Ihrer Website befindet.

Bing liest auch AJAX URLs. Wenn Sie also Javascript haben, das diese URL erstellt, wird sie von Bing gecrawlt.

Der einfachste Weg, dies zu handhaben, besteht darin, es in Ihre robots.txt-Datei als eine Seite einzufügen, die nicht/carwl indiziert.

3
Frank