it-swarm.com.de

Wie kann ich mehr als 20 TB Daten sichern?

Wir haben einen NAS Server in der Firma, für den ich arbeite, der zum Speichern von Fotositzungen verwendet wird. Jede Sitzung ist ungefähr 100 GB groß. In den letzten Jahren hat dieser Server mehr als 10 TB Daten gesammelt, und wir erhöhen die Anzahl der Fotoshootings exponentiell. Ich schätze, dass bis Ende nächsten Jahres mehr als 20 TB auf diesem NAS gespeichert sein werden. Wir sichern diesen Server derzeit mit LTO-5-Bändern mit Symantec BackupExec auf Band. Da die Größe dieses Servers gewachsen ist, werden vollständige Sicherungen dieses Servers nicht über Nacht abgeschlossen. Hat jemand einen Vorschlag, wie diese Datenmenge gesichert werden kann? Sollten wir es auf Band sichern? Gibt es andere Optionen, die besser sein könnten?

86
Jesus Fidalgo

Sie müssen einen Schritt zurücktreten und aufhören zu denken "Ich habe 20 TB auf meinem NAS Ich muss sichern!") Und eine Speicherstrategie entwickeln, die die Art Ihrer Daten berücksichtigt:

  • Woher kommt es und wie viele neue Daten erhalten Sie? (Sie haben dies in Ihrer Frage)
  • Wie werden die Daten verwendet, wenn Sie sie haben? Bearbeiten die Leute die Bilder? Behalten Sie die Originale und generieren Sie bearbeitete Versionen?
  • Wie lange müssen Sie alle Daten aufbewahren? Nehmen die Leute noch Änderungen an Bildern von vor 2 Jahren vor?

Abhängig von den Antworten auf die letzten beiden Fragen benötigen Sie wahrscheinlich mehr Archivierungssystem als ein radikal anderes Sicherungssystem.

Statische Daten (z. B. 2 Jahre alte Bilder, die Sie "nur für den Fall" aufbewahren) müssen nicht jede Nacht oder sogar jede Woche gesichert werden. Sie müssen archiviert werden. Was Sie tatsächlich tun, mag komplexer sein, aber konzeptionell können alle alten Bilder auf Band (mehrere Kopien!) Beschrieben und nicht mehr gesichert werden.

Basierend auf Ihren Kommentaren einige zusätzliche Gedanken:

  • Da Sie die Originale der einzelnen Aufnahmen unberührt lassen und an einer Kopie arbeiten und davon ausgehen, dass mindestens einige der Originalbilder Blindgänger sind, können Sie möglicherweise die Datenmenge, die gesichert werden muss, halbieren.

  • Wenn Sie eine vollständige Sicherung immer noch nicht innerhalb eines beliebigen Zeitfensters abschließen können, können Sie die Arbeit häufig beschleunigen, indem Sie zuerst eine Sicherung von Festplatte zu Festplatte durchführen und später die Sicherung auf Band kopieren.

Sie haben zwei Möglichkeiten:

Option 1:

  1. Kaufen Sie ein anderes NAS
  2. Geben Sie Ihren Benutzern RO Zugriff auf das neue_NAS
  3. Verschieben Sie alle Dateien, die älter als 2 Jahre sind, nach new_NAS
  4. Sichern Sie old_NAS wie gewohnt
  5. Verschieben Sie alle 6 Monate Dateien, die älter als 2 Jahre sind, nach new_NAS

Option 2:

  1. Kaufen Sie ein anderes NAS
  2. Führen Sie rsync jede Stunde aus: old_NAS -> new_NAS

    oder verwenden Sie besser etwas wie rdiff-backup , das rsync + Deltas mit Dateiänderungen beibehält (Sie können ältere Versionen der Dateien wiederherstellen)

    rdiff-backup  [email protected]_NAS::/source-dir    [email protected]_NAS::/dest-dir
    
  3. Bereinigen Sie alle 6 Monate alte Dateien, in denen Folgendes ausgeführt wird:

    rdiff-backup --remove-older-than 2Y    old_NAS::/dest-dir
    
12
jet

Warum müssen Ihre Backups über Nacht abgeschlossen werden? Dateiserverleistung? Möglicherweise können Sie die Bandbreite Ihrer Sicherungssoftware einschränken, um die Auswirkungen während des Tages zu begrenzen. Oder widmen Sie Ihrem NAS) eine Schnittstelle, um mit dem Bandlaufwerk zu sprechen und die Auswirkungen auf anderen Datenverkehr zu begrenzen.

Können Sie an Wochenenden vollständige Dumps ausführen und nur inkrementelle Dumps während der Woche durchführen? Wenn das Problem darin besteht, am Wochenende die Bänder zu wechseln, wenn niemand in der Nähe ist, kostet eine billige Bandbibliothek/ein automatischer Wechsler viel weniger, als jemanden für das Wechseln der Bänder zu bezahlen.

Können Sie Ihre Daten in mehrere Gruppen unterteilen, die klein genug sind, um sie in Ihrem Sicherungsfenster zu vervollständigen?

Wir haben ungefähr 50 TB Daten auf einem unserer NAS und es dauert über eine Woche, um mit 2 Bandlaufwerken einen vollständigen Speicherauszug des gesamten Dings zu erhalten (ein Volume dauert selbst fast eine Woche, da es viele enthält winzige Dateien). Wir replizieren unsere Daten auf ein zweites NAS. Unser sekundäres NAS ist vor Ort (aber in einem anderen Rechenzentrum als das primäre), sodass wir weiterhin Daten aufspulen Band für externe Backups. Wir führen Backups von diesem sekundären NAS aus, damit Backups niemanden verlangsamen.

Wenn Sie Ihr sekundäres NAS weit genug entfernt) zusammenfassen können, kann es Ihr Backup sein, ohne dass Bänder benötigt werden.

2
Johnny

Ich denke, die beste Lösung dafür ist das, was wir mit unseren Gehaltsdaten machen, deren Implementierung nur einen minimalen Aufwand für Sie bedeuten sollte.

  • Zunächst werden die restlichen Serverdaten gespeichert, die täglich gesichert werden. Unsere Aufbewahrungsfrist für diese Backups beträgt 13 Monate.

  • Sobald wir nicht mehr damit rechnen, dass die Daten geändert werden müssen (zwei Zahlungsperioden später, IIRC), werden die Daten (per Skript) auf einem Archivvolume gespeichert, das von den regulären Sicherungen ausgeschlossen ist.

  • Das Archivvolumen wird jährlich auf Band gesichert, und die Bänder werden zur unbestimmten Speicherung an Cintas gesendet.

Dies ermöglicht uns einen einfachen Online-Zugriff auf diese unveränderlichen Daten (so dass wir nicht jedes Mal ein Band anfordern müssen, wenn ein Buchhalter etwas ansehen möchte), während unbegrenzte externe Datenarchive aufbewahrt werden, die wir möglicherweise für immer aufbewahren müssen und ohne unser Backup-System zu zerstören. Klingt so, als ob dieselbe Art von Einrichtung für Sie funktionieren könnte, obwohl Sie möglicherweise die Datenmenge anpassen möchten, die Sie online aufbewahren, je nachdem, wie Sie rechtzeitig auf diese Daten zugreifen müssen - 20 TB Speicher für Unternehmen sind viel teurer als es auf zwei oder drei Sätzen von LTO5-Bändern zu archivieren, die Sie in externen Tresoren aufbewahren.

1
HopelessN00b

Ich bin nur im Zweifel über die Größe jeder Schießsitzung, ist es wirklich 100 GB/Sitzung? Wie viele Sitzungen führt Ihr Unternehmen pro Monat durch?

Da Sie meistens alte Sitzungen speichern, die nicht häufig verwendet werden usw., und diese Informationen wahrscheinlich nicht so häufig wiederherstellen müssen, würde ich Ihnen empfehlen, die Dienste eines Unternehmens zu verwenden, um diese Aufgabe für Sie zu erledigen .

Das Speichern dieser 20 TB über einen Onlinedienst wie Amazon Glacier würde beispielsweise etwas mehr als 200 US-Dollar pro Monat kosten. Wenn Sie diese Archive häufig abrufen oder sogar vollständig wiederherstellen müssen, würde dies zu einer gewissen Zeit-/Kostenbeschränkung führen. Wenn Sie diese Dinge nur "um sicherzugehen, dass sie aufbewahrt werden" aufbewahren, könnte die Verwendung eines dritten Teils Ihr Leben einfacher machen (und sogar billiger als der Kauf eines anderen NAS, von Bändern usw.).

1
woliveirajr

full backups of this server are not completing overnight
Versuchen Sie dann inkrementelle Sicherungen? Alle xx Tage eine vollständige Sicherung, der Rest inkrementell.

Festplatten sind kostengünstig, schneller als Bänder und können zur Sicherung verwendet werden.

Außerdem gibt es jetzt gute Alternativen für Cloud-Backups, sodass nicht immer mehr und schnellere Bänder hinzugefügt werden müssen.
Zum Beispiel:

1
Tedd Hansen

Vielleicht können Sie Ihren eigenen Backblaze Pod bauen: 135 TB für 7384 $
Klicken Sie hier, um weitere Informationen zu erhalten: Informationen zum Backblaze Pod-Gebäude

Sie können die benötigten Teile kaufen und selbst bauen.

Vielleicht können Sie 3 davon bauen und 2 vor Ort und 1 außerhalb behalten. Anschließend können Sie einen Pod als "Online-Daten", den zweiten Pod vor Ort als Backup des ersten Pods und den dritten Pod außerhalb des Standorts als Notfall-Offsite-Backup verwenden.

Mit 135 TB Speicherplatz für jeden Pod können Sie sogar daran denken, den Verlauf der Änderung beizubehalten ...
135 TB/20 TB = 19 vollständige Sicherungskopie .
Alternativ können Sie 10 vollständige Backups plus eine lächerliche Menge an differenziellen Backups aufbewahren.

Wenn Sie ein Offsite-Backup wünschen, benötigen Sie natürlich eine große Bandbreite ... :-)

0
Max