it-swarm.com.de

Wie werden die Sitemaps großer MediaWiki-Sites erstellt?

Diese Frage bezieht sich auf meine Fragen zu Dingen das Dateisystem von Wikipedia und Sitemap für Wikipedia erstellen . Es ist allgemeiner.

Problem: Angenommen, eine Site in MediaWiki mit etwa 10.000 Seiten wird teilweise von Suchmaschinen indiziert und hat ähnliche Auswirkungen wie die Auswirkungen .

Frage: Wie können Sie Sitemaps für große Websites erstellen, um deren Sichtbarkeit in Suchmaschinen zu gewährleisten?

4
user8926
3
jacktrade

MediaWiki-Sites haben ihren gesamten Inhalt in einer relationalen Datenbank (RDBMS). Der Code zum Generieren einer Sitemap führt im Grunde nur eine SQL SELECT-Abfrage aus, um die erforderlichen Informationen für jede Seite abzurufen. Möglicherweise in einer einzelnen SQL-Abfrage (die eine Zeile pro Seite zurückgibt). Der Code dafür ist eigentlich ziemlich einfach.

Jede große Site, die ein Content-Management-System (CMS) verwendet, kann problemlos eine Sitemap erstellen, selbst wenn es eine Million Seiten gibt. Fragen Sie die Datenbank ab, formatieren Sie die Ergebnisse in das entsprechende Sitemap-Format. Ziemlich die gleiche Art von Code wie eine Suche, aber mit einer WHERE-Klausel weniger (um alles zurückzugeben) und ohne Paginierung. Der Datenbanktyp und das Schema können Einfluss darauf haben, wie einfach dies ist. Im Allgemeinen enthält ein CMS jedoch den Seitennamen, die URL (also Felder, die zum Generieren einer URL erforderlich sind), das Änderungsdatum und ähnliches in der Datenbank.

Diese und Ihre beiden anderen Fragen lassen den Eindruck entstehen, dass Sie nicht wirklich verstehen, dass MediaWiki-Sites eine relationale Datenbank verwenden, nicht eine Reihe von Verzeichnissen voller Dateien.

Haben Sie eine große Site, für die Sie Sitemaps generieren möchten? Wie werden die Daten gespeichert? Einfach altmodische Dateien auf einem Dateisystem?

1
freiheit

Die meisten öffentlichen Sites haben nur wenige "Seiten", was den Entwickler betrifft.

Der Serverfehler besteht zum Beispiel wahrscheinlich nur aus ungefähr 20 verschiedenen Seiten. Dies bedeutet, dass große Teile von Site Maps dynamisch auf der Grundlage von Informationen in der Back-End-Datenbank generiert werden können und dann statisch ein paar zusätzliche Seiten hinzugefügt werden.

1
Spencer Ruport

Es ist sehr einfach.

php maintenance/generateSitemap.php \
   --fspath sitemap \
   --server http://example.org \
   --urlpath http://example.org/sitemap

Weitere Informationen finden Sie im generateSitemap.php-Handbuch .

Die von den anderen Antworten vorgeschlagenen DIY-Lösungen sind suboptimal.

0
Nemo

Sie haben ein paar Möglichkeiten.

Wenn es sich um eine große, hausintern erstellte Website handelt, würden Sie wahrscheinlich Ihre Sitemaps basierend auf Datenbankabfragen erstellen. Sie haben auch die Möglichkeit, mithilfe verschiedener Sitemap-Generatoren, die auf Ihrer Homepage gestartet werden und Ihre gesamte Website crawlen, selbst "googlebot" zu machen - und dabei automatisch Sitemap-Dateien zu erstellen.

Wir verwenden diese Software zum Crawlen und Erstellen von Sitemaps für einige große Websites:

http://www.xml-sitemaps.com/

0
Matt Beckman