it-swarm.com.de

Verhindert die htpasswd-Authentifizierung, dass Google meine Website crawlt?

Ich habe eine Website, die ich weiter testen möchte, bevor ich sie öffentlich mache. Daher möchte ich nicht, dass Google mit dem Crawlen der Website beginnt, da während des Tests eine große Menge an Müllcontent angezeigt wird.

Ich habe derzeit die Authentifizierung mit htpasswd eingerichtet. Verhindert dies, dass Site-Crawler oder Robots meine Site crawlen?

6
going

Ja, wenn die Site eine Authentifizierung erfordert, können Robots sie nicht crawlen.

Sie können auch eine robots.txt-Datei angeben, damit die gesamte Site nicht zugelassen wird

10
Daveo