it-swarm.com.de

Soll ich Suchmaschinen mit robots.txt auf meiner Facebook-App blockieren?

Es gibt einige Subdomains auf meiner Homepage, in denen ich robots.txt nutze, um Suchmaschinen für die Indizierung ihrer Inhalte zu blockieren, wie meine Subdomains für Bilder und Downloads, da ich nicht möchte, dass die direkten URLs für diese Inhalte indiziert werden.

So mach ich es:

User-agent: *
Disallow: /

Jetzt habe ich eine neue Subdomain 'facebook', mit der ich Apps hosten werde, die für Facebook entwickelt wurden. Meine Frage ist, sollte ich den obigen Code verwenden, um auch diese Subdomain zu blockieren?

Die App selbst sollte nicht über die direkte URL aufgerufen und verwendet werden (aber sie funktioniert, glaube ich, hat sie nicht getestet). Sie sollte über die Canvas-URL verwendet werden, die so etwas wie apps.facebook.com/app_name ist. Es macht mir nichts aus, wenn Suchmaschinen diese URL indizieren, sie ist die richtige zum Indizieren. Ich halte es jedoch nicht für sinnvoll, dass sie so etwas wie "facebook.mydomain.com/apps/app_name" indizieren.

Sollte ich Suchmaschinen mit robots.txt für Facebook-Anwendungen blockieren oder sollte ich es ignorieren? Gibt es einen guten Grund, Suchmaschinen das Crawlen zu erlauben?

4
Ricardo Amaral

Blockiere es. Wenn für sie kein Grund besteht, direkt auf diese URL zuzugreifen, sollten Sie Ihr Bestes tun, um zu verhindern, dass Benutzer darauf stoßen. Sie wissen nie, ob es eine Sicherheitslücke oder ein anderes Problem im Zusammenhang mit dem direkten Zugriff auf diesen Inhalt gibt. Wenn also niemand auf diese Weise darauf zugreifen muss, warum sollte die Möglichkeit für diesbezügliche Probleme offen bleiben? Wenn dieser Inhalt für den Zugriff über Facebook vorgesehen ist, stellen Sie sicher, dass dies der einzige Weg ist, dorthin zu gelangen.

2
John Conde