it-swarm.com.de

Ist meine ganze Seite von diesem Disallow blockiert: /

Dies ist eine Ansicht meiner robots.txt Datei. Hat diese Abfrage nur die Baiduspider-Suchmaschine oder alle Suchmaschinen blockiert, um meine Site zu überprüfen?.

User-agent: Baiduspider
Disallow: /

User-agent: *
Disallow: /templates_c/
4
madgrace

Wenn Sie disallow:/ mit user-agent: * verwenden, wird nur die gesamte Site mit robots.txt blockiert.

Andernfalls wird nur ein bestimmter Benutzeragent mit Ihren Websites blockiert.

Benutzeragenten blockieren:

In der Zeile Disallow werden die Seiten aufgelistet, die Sie blockieren möchten. Sie können eine bestimmte URL oder ein Muster auflisten. Der Eintrag sollte mit einem Schrägstrich (/) beginnen.

To block the entire site, use a forward slash.

Disallow: /

To block a directory and everything in it, follow the directory name with a forward slash.

Disallow: /junk-directory/

To block a page, list the page.

Disallow: /private_file.html

To remove a specific image from Google Images, add the following:

User-agent: Googlebot-Image
Disallow: /images/dogs.jpg 

To remove all images on your site from Google Images:

User-agent: Googlebot-Image
Disallow: / 

To block files of a specific file type (for example, .gif), use the following:

User-agent: Googlebot
Disallow: /*.gif$

To prevent pages on your site from being crawled, while still displaying AdSense ads on those pages, disallow all bots other than Mediapartners-Google. This keeps the pages from appearing in search results, but allows the Mediapartners-Google robot to analyze the pages to determine the ads to show. The Mediapartners-Google robot doesn't share pages with the other Google user-agents. For example:

User-agent: *
Disallow: /

User-agent: Mediapartners-Google
Allow: /

Weitere Informationen finden Sie unter this und User-Agents für Google here .

5
Jobin Jose

Der Baiduspider bot darf nichts auf Ihrem Host crawlen.

Alle anderen Bots dürfen keine URL crawlen, deren Pfad mit /templates_c/ beginnt. Sie können alle anderen URLs auf Ihrem Host crawlen.

1
unor