it-swarm.com.de

Wie verbiete ich ein gesamtes Verzeichnis mit robots.txt?

Ich habe zwei Websites, an denen ich gerade arbeite, nämlich einen Einkaufswagen und einen anderen Käufer. Beide sind also zum Beispiel unter dem gleichen Domainnamen

http://example.com/first_url 
http://example.com/second_url 

Unter diesen beiden URLs befinden sich unzählige Seiten

http://example.com/first_url/product1
http://example.com/first_url/product2 
http://example.com/first_url/product3

http://example.com/second_url/product1
http://example.com/second_url/product2 
http://example.com/second_url/product3

Wie kann ich die Haupt-URL /first_url und /second_url sowie alle Unterseiten und Unterverzeichnisse nicht zulassen? Ich habe mir so etwas überlegt, aber ich weiß nicht, ob das funktioniert oder nicht und ob es die richtige Syntax war

Disallow: /first_url/*/
Disallow: /second_url/*/
19
Tamer

Sie brauchen den abschließenden Schrägstrich nicht, um diese Verzeichnisse zu blockieren. Das wird funktionieren:

Disallow: /first_url/*
Disallow: /second_url/*

Diese Google-Hilfeseite deckt dies recht gut ab.

26
John Conde