it-swarm.com.de

Unerwünschte "Crawl-Verzögerung: 10" -Zeile zu meiner robots.txt hinzugefügt

Mir ist aufgefallen, dass bei einer Anforderung an meine robots.txt-Seite eine crawl delay: 10-Zeile hinzugefügt wird. Ich habe die Datei zweimal überprüft und sie enthält diese Zeile nicht. Warum wird sie angezeigt? Ist es vielleicht ein merkwürdiges Verhalten einiger Plugins?

3
LordSilver

Wenn Sie WordPress als CMS für Ihre Website verwenden, können Sie die Regeln Ihres Webhosting-Servers umgehen, indem Sie einfach Ihre robots.txt-Datei entfernen und stattdessen die von WordPress generierte virtuelle Datei ändern. Sie müssen nur einen Filter zur Datei functions.php Ihres Themas hinzufügen.

Hier ist das Code-Snippet:

//* Append directives to the virtual robots.txt
add_filter( 'robots_txt', 'robots_mod', 10, 2 );
function robots_mod( $output, $public ) {
    $output .= "Disallow: /wp-content/plugins/\nSitemap: http://www.example.com/sitemap_index.xml";
    return $output;
}

Sie müssen lediglich die Ausgabe von $ mit Ihren eigenen Anweisungen ändern.

1
LordSilver

Für meine Website hatte ich das gleiche Problem.

Hier ist meine robots.txt-Datei (ohne die Crawling-Verzögerung: 10)

sitemap: https://baliradar.com/sitemap.xml
User-agent: *
Disallow: /cgi-bin/ 
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /archives/
Disallow: /wp-*
Disallow: /author
Disallow: /comments/feed/
User-agent: Mediapartners-Google*
Allow: /
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Mobile
Allow: /

Ich habe mein Webhosting kontaktiert und sie bestätigen mir Ihre Antwort

0
Didz