it-swarm.com.de

rsync hängt während der Übertragung plötzlich unbestimmt

In den letzten Jahren habe ich mit einem rsync-Einzeiler wichtige Ordner auf meinem Mac Mini-Desktop (OSX 10.9, 2,5 GHz i5, 4 GB RAM) auf einer FreeNAS-Box (0.7.2 Sabanda-Revision 5266, Pentium) gesichert D 2.66 GHz, 822MiB RAM [vom System gemeldet, ich glaube, dort sind 1 GB]]. Ich verwende einen rsync-Daemon auf der FreeNAS-Box. In letzter Zeit hängen diese Übertragungen auf unbestimmte Zeit. Ich habe das übliche Google-Fu gemacht und kann die Ursache des Problems oder eine Lösung nicht finden.

Der Einzeiler ist: rsync -rvOlt --exclude '.DS_Store' --exclude '.com.Apple.timemachine.supported' --delete /Volumes/Storage/Music/Albums/ 192.168.1.100::albums

Ich habe versucht, -vvv und --progress zu aktivieren, aber es gibt kein Muster, das ich unterscheiden kann, was hängt und was nicht. Wenn ich es erneut versuche, hängt die gleiche Datei während der Übertragung möglicherweise an einem anderen Punkt oder gar nicht. Ein Testlauf (-n) ist auch nicht immer erfolgreich. Der einzige "Erfolg", den ich hatte, ist das Implementieren eines Timeouts (--timeout = 10) und das erneute Ausführen des Befehls. Irgendwann krieche ich mit, aber ohne Erfolgsgarantie und in einem Tempo, das inakzeptabel ist. Ich habe einen Punkt erreicht, an dem ich eine Datei habe, an der ich nicht vorbei komme.

Der Mac Mini ist über 5 GHz an meinen Router angeschlossen. Die FreeNAS-Box ist an einem 100-MBit-Port mit demselben Router verbunden. Wenn Transfers tatsächlich ausgeführt werden, meldet rsync --progress 2,5 bis 4 MB/s. Laut - Progress ist ein Hang im wahrsten Sinne des Wortes nur, dass, soweit ich das beurteilen kann, keine Datenübertragung stattfindet.

Ich brauche sowohl bei der Diagnose als auch bei der Lösung Hilfe.

19
Matthew DeNardo

Ich bin immer wieder auf das Gleiche gestoßen, und es scheint hilfreich zu sein, wenn Sie die Option -v löschen (was ärgerlich ist, wenn Sie diese Ausgabe benötigen).

14
guest

Dies geschah bei mir, als das Remote-Gerät keinen Platz mehr hatte. Der Fehler wurde nicht angezeigt, wenn die --verbose-Option verwendet wurde. Wenn Sie diese Option deaktivieren, wurde eine STDERR-Ausgabe ausgegeben, aus der hervorgeht, dass das entfernte Gerät keinen Platz mehr hat. Als ich etwas Speicherplatz freigab, konnte ich rsync erneut mit --verbose ausführen und alles lief gut.

10
Ezekiel Victor

Ich hatte das gleiche Problem. Das Entfernen von -v hat bei mir nicht funktioniert. Mein Anwendungsfall unterscheidet sich ein wenig dahingehend, dass ich von Quelle (EXT4) zu ExFAT gehe. Für mich bestand das Problem darin, dass rsync versucht hat, Gerätedateien und Berechtigungen zu erhalten, die ExFAT nicht unterstützt. Ich habe die -hrltDvaP-Schalter verwendet. Die -D- und -a-Schalter schienen mein Problem zu sein. Der -a-Schalter wird in -rlptgoD (no -H,-A,-X) übersetzt. Die -p-, -g- und -o-Schalter schienen meine Hauptursache zu sein, da rsync während der Laufzeit nur einen oder alle dieser Optionen blockierte. -a zu entfernen und -Prltvc-Schalter explizit anzugeben, funktioniert für mich.

bkupcmd="Nice -n$nicelevel /usr/bin/rsync -Prltvc --exclude-from=/var/tmp/ignorelist "
8
Jim

Ich verwende openSUSE 13.2 Linux, rsync Version 3.1.1-2.4.1.x86_64, und ich hatte ähnliche Probleme, als ich einen Rsync zwischen meinem Laptop und einer externen Festplatte ausführte, wobei das Zielgerät definitiv genügend freien Speicherplatz hatte. 

Ich dachte, ich hätte eine Verbesserung, die Option -v weggelassen, aber nach 10 Minuten hing es wieder: strace sagte: Select (5, [], [4], [], {60, 0}) = 0 (Timeout) )

Und mit "iotop" habe ich bestätigt, dass die rsync-Prozesse keine signifikanten Platten mehr IO mehr gemacht haben.

Weder das Entfernen der Option -v noch das Einschränken der Bandbreite mithilfe von --bwlimit hat das Problem behoben.

3
karsten

Hatte gerade ein ähnliches Problem, während Rsync von der Festplatte auf ein FAT32-USB-Laufwerk ausgeführt wurde. rsync ist in meinem Fall in weniger als einer Sekunde eingefroren und hat danach gar nicht reagiert ... mit STRG + C belassen.

Es stellte sich heraus, dass das Problem eine Kombination aus Hardlinks auf der Festplatte und einem FAT32-Dateisystem auf dem USB-Laufwerk war, das Hardlinks nicht unterstützt.

Formatieren des USB-Laufwerks mit ext4 Das Problem wurde für mich gelöst.

2
Alex

In meiner Situation scheiterte Rsync nicht wirklich.

Ich habe regelmäßige Server-Backups, die große Dateien über 500 GB übertragen und --append-verify Oder --checkusm Über ssh Parameter angegeben haben.

Was ich bei der Analyse herausgefunden habe, ist, dass, sobald die Client-Seite ihre Dateiprüfungen abgeschlossen hat, die Server-Seitenprüfungen beginnen. Das heißt, während der Server dies tut, überprüft er die Clientseite wird aufgehängt und eingefroren angezeigt - führe htop auf dem Server aus, damit rsync funktioniert.

Dies ist wahrscheinlich kein Problem, wenn rsync auf dem Server im Deamon-Modus ausgeführt wird und das rsync -Protokoll anstelle von ssh für Übertragungen verwendet wird.

In diesem Zusammenhang würde dieses sehr lange Warten eine SSH-Zeitüberschreitung und eine rsync: connection unexpectedly closed (254 bytes received so far) [sender] Fehlermeldung auslösen. Es wird empfohlen, ClientAliveInterval 120 Und ClientAliveCountMax 720 Zu /etc/ssh/sshd_config Hinzuzufügen.

1

Ich hatte das gleiche Problem und es war, weil mir während des Rsync der Speicher ausgeht. Es wurde eine Auslagerungsdatei erstellt und das Problem gelöst.

1
meammeiam

Hatte Rsync hängen Problem auf Ubuntu 16. Keine der oben genannten Optionen hat geholfen. Das Problem lag im Quelllaufwerk (externe SSD), das plötzlich fehlerhaft wurde. Ich habe mehrere Festplattenprüfungen versucht, aber alle stecken fest. Beendete den Neustart des Systems und die Festplatte wurde plötzlich wieder zugänglich.

0
apatsekin

Dies geschieht auch, wenn der Benutzer auf dem Zielcomputer keine Schreibberechtigung für den Zielordner hat.
Sie können versuchen, die Schreibberechtigung für andere Zielordner festzulegen:

Sudo chmod -R o+w /path/to/target-folder
0
Fernando Campos

Wahrscheinlich nicht "Ihr" Problem, aber ich bin über diese Frage gestolpert, als ich ein ähnliches Verhalten erforschte:

Ich beobachte "hängen", wenn die Zielseite zu viel Last hat. z.B. auf einem meiner Small Business Server, wenn jemand sein IMAP-Konto neu synchronisiert und große Datenstapel herunterlädt und ein Sicherungsjob ausgeführt wird, der seine Daten schreibt.

In dieser Situation stelle ich einen starken Leistungsabfall bei rsync fest. Auffallend bei einem hohen Ladewert in top auf dem Zielcomputer, obwohl CPU und Mem in Ordnung sind.

Das Warten auf den Abschluss des Prozesses hat jedes Mal geholfen oder der Rsync zu einem späteren Zeitpunkt erneut unterbrochen und erneut versucht.

0
Angelo Fuchs