it-swarm.com.de

robots.txt wird nicht aktualisiert

Heute habe ich eine E-Mail von Webmaster Tools erhalten, die besagt, dass Googlebot nicht auf CSS- und JS-Dateien zugreifen kann. Also habe ich mich daran gemacht, meine robots.txt-Datei im Stammverzeichnis meines Servers zu aktualisieren.

Originalinhalt:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/ #<--CAUSE OF THE PROBLEM

Sitemap: http://example.com/sitemapindex.xml

Ich habe die Zeile "Disallow:/wp-content/themes /" aus der Datei entfernt und die Datei erneut hochgeladen, aber als ich die neue Datei in meinem Browser ansah, hatte sich nichts geändert. Dann habe ich Folgendes getan:

1) Löschte die TXT-Datei aus dem Stammverzeichnis

2) Cache geleert (W3 Total Cache)

Trotzdem war robots.txt in meinem Browser sichtbar. Das konnte nur eines bedeuten, dass die Datei virtuell generiert wurde, oder? Ich habe es sogar in einem anderen Browser angesehen, um sicherzustellen, dass kein Caching stattfindet.

Nach langem Suchen habe ich keine Antwort gefunden, warum meine robots.txt nicht aktualisiert wird oder woher sie generiert wird?

Hat jemand hier irgendwelche Ideen, was los ist?

Einige Plugins, die ich benutze:

1) Better WordPress Google XML Sitemaps
2) W3 Total Cache
3) Yoast SEO

Jede Hilfe wäre sehr dankbar, danke.

1
user1356029

Wenn sich eine WordPress-Datei auf der Festplatte befindet, wird diese normalerweise zuerst direkt von Apache oder Nginx bereitgestellt, bevor WordPress involviert wird.

Dies geschieht in Ihrer virtualhost-Konfiguration, z. In Nginx finden Sie normalerweise Folgendes: Versuchen Sie zuerst die eigentlichen Dateien, bevor index.php die URL verarbeitet und bei Bedarf eine Seite generiert.

location / {
    index index.php index.html;
    try_files $uri $uri/ /index.php?$args;
}

Wenn Ihre robots.txt ignoriert wird, liegt möglicherweise ein Fehler in Ihrer Webserverkonfiguration vor.

Ich habe gerade die drei Plugins ausprobiert, die Sie mit dem fünfundzwanzigsten Thema erwähnt haben, und alles hat in Ordnung funktioniert. Mit Yoast SEO können Sie die Datei robots.txt übrigens von den Admin-Seiten aus bearbeiten (gehen Sie zu SEO> Tools> File Editor.)

Wenn keine robots.txt-Datei gefunden wurde oder die Steuerung an WordPress übergeben wurde, lautet die Standardausgabe:

User-agent: *
Disallow: /wp-admin/

Sehen Sie sich wp-includes/functions.php an, um zu sehen, wie dies funktioniert, aber bearbeiten Sie niemals Kerndateien.

Dies kann mit Aktionen und Filtern angepasst werden - beispielsweise fügt das BWP-Sitemaps-Plugin eine Sitemap:-Zeile hinzu.

Wenn Sie kein Plugin (oder nichts in Ihrem Design) finden, das sich in do_robots oder do_robotstxt einfügt, ist dies ein Hack für die functions.php-Datei Ihres Themas, die wahrscheinlich die Aufgabe übernimmt:

/**
 * Remove unwanted 'themes' from robots.txt with find/replace
 * @param string $input original robots.txt content
 *
 * @return string mixed
 */
function patch_robots_file( $input ) {
    return str_replace( 'Disallow: /wp-content/themes/', '', $input );
}

add_filter( 'robots_txt', 'patch_robots_file' );
1
William Turrell