it-swarm.com.de

Laden Sie Dateien von einer Liste herunter

Wie kann ich Dateien (die in einer Textdatei aufgelistet sind) mithilfe von wget oder einer anderen automatischen Methode herunterladen?

Beispieldateiliste:

www.example.com/1.pdf
www.example.com/2.pdf
www.example.com/3.pdf
125
Sourav

wget hat ein eingebautes Flag dafür: wget -i your_list Sie können diese Art von Dingen finden, indem Sie man wget lesen

224
aureianimus

Holen Sie sich diese parallel mit

cat urlfile | parallel --gnu "wget {}"

Standardmäßig werden so viele Prozesse ausgeführt, wie Kerne vorhanden sind. Sie können diese wahrscheinlich um das Zehnfache erhöhen, wenn Sie sie wirklich schnell herunterfahren möchten, indem Sie nach parallel "-j 20" hinzufügen.

84
meawoppl
xargs -i wget 'http://{}'  < your_list
10
Florian Diesch

parallel verfügt über ein eingebautes Flag --arg-file (-a), das eine Eingabedatei als Quelle verwendet, sodass Sie cat | vermeiden können. Sie können verwenden

parallel --gnu -a urlfile wget

Oder einfach parallel --gnu wget < urlfile

7
yxogenium
awk '{print "http://" $0;}' list.txt | xargs -l1 wget

dabei ist list.txt Ihre Listendatei

5
flo

Ich habe Florian Dieschs Antwort gesehen.

Ich habe es funktioniert, indem ich den Parameter bqc in den Befehl aufgenommen habe.

xargs -i wget -bqc 'http://{}' < download.txt

Alle Downloads begannen parallel im Hintergrund.

  • -b: Hintergrund. Gehen Sie sofort nach dem Start in den Hintergrund
  • -q: Ruhig. Schalten Sie die Ausgabe von wget aus
  • -c: Weiter. Holen Sie sich weiterhin eine teilweise heruntergeladene Datei
4
streetlife

Linkdatei links.txt

Befehl zum Herunterladen aller Links

    cat links.txt | wget -i
1
DreamCoder