it-swarm.com.de

Wikipedia Sitemap

Ich weiß, wie es die Sitemap und alles erzeugt. Was ich brauche, ist eine vollständige Sitemap aller in wikipedia.org behandelten Themen. Weiß jemand, wo ich es bekommen könnte? Ich habe es gecrawlt, aber mir geht mit meinem Crawlerprogramm immer noch der Speicherplatz aus.

3
user721318

Für alle Seiten im Artikelnamensraum der englischsprachigen Wikipedia steht ein Download zur Verfügung:

http://dumps.wikimedia.org/enwiki/latest/enwiki-latest-all-titles-in-ns0.gz

Diese Art von Liste wird jedoch nicht für jede Sprache erstellt, sodass Sie sie selbst aus dem Speicherauszug für alle Inhalte erstellen müssen. Siehe die vollständige Liste aller verfügbaren Speicherauszüge (ändern Sie einfach den Teil en- der URL in die Sprache, die Sie sehen möchten).

3
neo