it-swarm.com.de

Wie viel Speicherplatz muss auf der Festplatte oder der SSD frei bleiben?

In der informellen (d. H. Journalistischen) Technologiepresse sowie in Online-Technologieblogs und Diskussionsforen wird häufig empfohlen, auf Festplatten oder Solid-State-Laufwerken etwas Speicherplatz freizugeben. Hierfür gibt es verschiedene Gründe oder manchmal gar keinen Grund. Als solche haben diese Behauptungen, obwohl sie in der Praxis vielleicht vernünftig sind, eine mythische Ausstrahlung. Zum Beispiel:

  • Sobald Ihre Festplatte (n) zu 80% voll sind, sollten Sie sie als voll betrachten und sofort entweder löschen oder ein Upgrade durchführen. Wenn sie 90% voll treffen, sollten Sie davon ausgehen, dass Ihre persönliche Unterhose tatsächlich in Flammen steht, und mit einer angemessenen Menge an Unmittelbarkeit reagieren, um Abhilfe zu schaffen. ( Quelle .)

  • Um die Müllabfuhr so ​​effizient wie möglich zu halten, sollten nach traditioneller Empfehlung 20 bis 30 Prozent Ihres Laufwerks leer sein. ( Quelle .)

  • Mir wurde gesagt, dass ich für eine bessere Leistung ungefähr 20% frei lassen soll, damit eine HD wirklich langsamer wird, wenn sie fast voll ist. ( Quelle .)

  • Sie sollten Platz für die Auslagerungsdateien und temporären Dateien lassen. Ich lasse derzeit 33% Prozent frei und schwöre, nicht unter 10 GB freien Festplattenspeicher zu kommen. ( Quelle .)

  • Ich würde sagen, normalerweise 15%, aber mit wie großen Festplatten sind jetzt adays, solange Sie genug für Ihre temporären Dateien und Auslagerungsdatei haben, sind Sie technisch sicher. ( Quelle .)

  • Ich würde 10% plus unter Windows empfehlen, da die Defragmentierung nicht ausgeführt werden kann, wenn beim Ausführen nicht so viel freier Speicherplatz auf dem Laufwerk vorhanden ist. ( Quelle .)

  • Sie möchten im Allgemeinen etwa 10% frei lassen, um eine Fragmentierung zu vermeiden ( Source .)

  • Wenn Ihr Laufwerk durchweg zu mehr als 75 oder 80 Prozent ausgelastet ist, sollte ein Upgrade auf eine größere SSD in Betracht gezogen werden. ( Quelle .)

Wurden Untersuchungen, die vorzugsweise in einem von Fachleuten geprüften Journal veröffentlicht wurden, zum Prozentsatz oder zur absoluten Menge an freiem Speicherplatz durchgeführt, die für bestimmte Kombinationen von Betriebssystemen, Dateisystemen und Speichertechnologien (z. B. Magnetischer Plattenteller vs. Festkörper) erforderlich sind? (Im Idealfall würde eine solche Untersuchung auch den Grund dafür erklären, die bestimmte Menge an verwendetem Speicherplatz nicht zu überschreiten, beispielsweise um zu verhindern, dass dem System der Speicherplatz swap ausgeht, oder um Leistungsverluste zu vermeiden.)

Wenn Sie solche Forschungsergebnisse kennen, wäre ich Ihnen dankbar, wenn Sie uns einen Link und eine kurze Zusammenfassung der Ergebnisse zusenden könnten. Vielen Dank!

107
sampablokuper

Wurden Recherchen durchgeführt, die vorzugsweise in einer von Fachleuten geprüften Zeitschrift veröffentlicht wurden […]?

Dafür muss man viel mehr als 20 Jahre in der Systemadministration oder auf andere Weise zurückblicken. Zumindest in der Welt der Betriebssysteme für PCs und Workstations war dies vor über 30 Jahren ein heißes Thema. Zu der Zeit, als die BSD-Leute das Berkeley Fast FileSystem entwickelten und Microsoft und IBM das High Performance FileSystem entwickelten.

In der Literatur der beiden Autoren wird erläutert, wie diese Dateisysteme so organisiert wurden, dass die Blockzuweisungsrichtlinie eine bessere Leistung erbrachte, indem versucht wurde, aufeinanderfolgende Dateiblöcke zusammenhängend zu machen. Diskussionen darüber und darüber, dass die Menge und der Ort des freien Speicherplatzes für die Zuweisung von Blöcken sich auf die Blockplatzierung und damit auf die Leistung auswirken, finden Sie in den aktuellen Artikeln zu diesem Thema.

Aus der Beschreibung des Blockzuweisungsalgorithmus des Berkeley-FFS sollte beispielsweise ziemlich offensichtlich sein, dass, wenn in der aktuellen und sekundären Zylindergruppe kein freier Speicherplatz vorhanden ist und der Algorithmus somit den Fallback der vierten Ebene erreicht ("eine erschöpfende Suche anwenden") Die Leistung bei der Zuweisung von Plattenblöcken leidet ebenso wie die Fragmentierung der Datei (und damit die Leseleistung).

Auf diesen und ähnlichen Analysen (die bei weitem nicht die einzigen Dateisystem-Designs sind, die darauf abzielen, die Layout-Richtlinien der damaligen Dateisystem-Designs zu verbessern) hat die erhaltene Weisheit der letzten 30 Jahre aufgebaut.

Zum Beispiel: Das im Originalpapier enthaltene Gebot, dass FFS-Volumes zu weniger als 90% voll sein sollen, damit die Leistung nicht leidet, was auf Experimenten der Entwickler beruhte, lässt sich auch in Büchern über Unix-Dateisysteme, die in diesem Jahrhundert veröffentlicht wurden, unkritisch wiederholen (z. B. Pate2003 S. 216). Wenige Leute stellen dies in Frage, obwohl Amir H. Majidimehr es tatsächlich im vorigen Jahrhundert getan hat und behauptet, dass xe in der Praxis keine wahrnehmbare Wirkung beobachtet habe; nicht zuletzt wegen des üblichen Unix-Mechanismus, der die letzten 10% für den Superuser reserviert, was bedeutet, dass eine 90% -ige Disc für Nicht-Superuser zu 100% voll ist jedenfalls  (Majidimehr1996, S. 68). So auch Bill Calkins, der vorschlägt, dass man in der Praxis bis zu 99% mit Disc-Größen des 21. Jahrhunderts füllen kann, bevor man die Leistungseffekte von geringem freiem Speicherplatz betrachtet, da selbst 1% von modernen Discs ausreicht, um viel unfragmentierten freien Speicherplatz zu haben noch zu spielen (Calkins2002, S. 450).

Letzteres ist ein Beispiel dafür, wie empfangene Weisheit falsch werden kann. Es gibt andere Beispiele dafür. Genau wie die SCSI- und ATA-Welten von Logische Blockadressierung und Zoned-Bit-Aufzeichnung die sorgfältigen Berechnungen von Rotationslatenz in der BSD eher aus dem Fenster geworfen haben Dateisystem-Design, so dass die physikalische Mechanik von SSDs eher aus dem Fenster werfen den freien Speicherplatz erhalten Weisheit, die für Winchester-Discs gilt.

Bei SSDs wirkt sich die Menge an freiem Speicherplatz auf dem gesamten Gerät , d. H. Auf allen Volumes auf der Disc und dazwischen sowohl auf die Leistung als auch auf die Lebensdauer aus. Und die eigentliche Grundlage für die Idee, dass eine Datei in Blöcken mit zusammenhängenden logischen Blockadressen gespeichert werden muss, ist die Tatsache, dass SSDs keine Platten zum Drehen und Köpfe zum Suchen haben. Die Regeln ändern sich erneut.

Bei SSDs beträgt die empfohlene Mindestmenge an freiem Speicherplatz tatsächlich mehr als die herkömmlichen 10%, die vor 33 Jahren durch Experimente mit Winchester-Discs und Berkeley FFS erzielt wurden. Anand Lal Shimpi gibt zum Beispiel 25%. Dieser Unterschied wird durch die Tatsache verschärft, dass es sich um freien Speicherplatz über das gesamte Gerät handeln muss, wohingegen der 10% -Wert innerhalb jedes einzelnen FFS-Volumes ist und somit davon abhängt, ob einer vorhanden ist Das Partitionierungsprogramm kann den gesamten Speicherplatz TRIMMEN, der von der Partitionstabelle keinem gültigen Datenträgervolume zugewiesen wurde.

Hinzu kommen Komplexitäten wie TRIM-fähige Dateisystemtreiber, die den freien Speicherplatz innerhalb der Datenträger TRIM-fähig machen, und die Tatsache, dass die SSD-Hersteller selbst bereits unterschiedlich viel zuweisen. reservierter Platz der nicht einmal außerhalb des Geräts (dh für den Host) sichtbar ist, für verschiedene Verwendungszwecke, wie z. B. für das Sammeln von Speicherbereinigungen und den Ausgleich von Abnutzung.

Literaturverzeichnis

10
JdeBP

Ich kann zwar nicht davon sprechen, dass "Forschung" in "Fachzeitschriften" veröffentlicht wird - und ich möchte mich bei der täglichen Arbeit nicht darauf verlassen müssen -, aber ich kann über die Realitäten von Hunderten von Produktionen sprechen Server unter einer Vielzahl von Betriebssystemen über viele Jahre:

Es gibt drei Gründe, warum eine volle Festplatte die Leistung verringert:

  • Mangel an freiem Speicherplatz: Denken Sie an temporäre Dateien, Updates usw.
  • Verschlechterung des Dateisystems: Die meisten Dateisysteme leiden unter der Fähigkeit, Dateien optimal anzuordnen, wenn nicht genügend Speicherplatz vorhanden ist
  • Verschlechterung der Hardwareebene: SSDs und SMR-Festplatten ohne ausreichenden freien Speicherplatz weisen einen verringerten Durchsatz und - noch schlimmer - eine erhöhte Latenz auf (manchmal um mehrere Größenordnungen)

Der erste Punkt ist trivial, zumal kein vernünftiges Produktionssystem jemals Auslagerungsspeicher zum dynamischen Erweitern und Verkleinern von Dateien verwenden würde.

Der zweite Punkt unterscheidet sich stark zwischen Dateisystemen und Workload. Für ein Windows-System mit gemischter Arbeitslast erweist sich ein Schwellenwert von 70% als durchaus brauchbar. Bei einem Linux ext4-Dateisystem mit wenigen, aber großen Dateien (z. B. Video-Broadcast-Systemen) kann dies bis zu 90% betragen.

Der dritte Punkt hängt von der Hardware und der Firmware ab, aber insbesondere SSDs mit einem Sandforce-Controller können bei hohen Schreiblasten auf das Löschen freier Blöcke zurückgreifen, was zu einer Erhöhung der Schreiblatenzen um Tausende von Prozent führt. Normalerweise lassen wir 25% auf Partitionsebene frei und beobachten dann eine Füllrate von unter 80%.

Empfehlungen

Mir ist klar, dass ich wie erwähnt habe, um sicherzustellen, dass eine maximale Füllrate erzwungen wird. Einige zufällige Gedanken, keiner von ihnen "peer reviewed" (bezahlt, gefälscht oder echt), aber alle aus Produktionssystemen.

  • Dateisystemgrenzen verwenden: /var gehört nicht in das Root-Dateisystem.
  • Überwachung, Überwachung, Überwachung. Verwenden Sie eine vorgefertigte Lösung, wenn es Ihnen passt, oder analysieren Sie die Ausgabe von df -h und lassen Sie die Alarmglocken für den Fall los. Dies erspart Ihnen 30 Kernel in einem Root-Dateisystem, in dem automatische Upgrades installiert sind und ohne die Option zum automatischen Entfernen ausgeführt werden.
  • Wägen Sie die potenzielle Störung eines fs-Überlaufs zunächst gegen die Kosten ab, die für dessen Vergrößerung anfallen: Wenn Sie nicht auf einem eingebetteten Gerät arbeiten, verdoppeln Sie möglicherweise nur die 4G für root.
49
Eugen Rieck

Wurde untersucht, in welchem ​​Prozentsatz oder in welcher absoluten Menge freier Speicherplatz für bestimmte Kombinationen von Betriebssystemen, Dateisystemen und Speichertechnologien erforderlich ist?

In 20 Jahren Systemadministration bin ich noch nie auf Untersuchungen gestoßen, in denen die Anforderungen an den freien Speicherplatz verschiedener Konfigurationen genau beschrieben wurden. Ich vermute, das liegt daran, dass Computer so unterschiedlich konfiguriert sind, dass dies aufgrund der Vielzahl möglicher Systemkonfigurationen schwierig ist.

Um festzustellen, wie viel freier Speicherplatz ein System benötigt, müssen zwei Variablen berücksichtigt werden:

  1. Der minimale Raum, der erforderlich ist, um unerwünschtes Verhalten zu verhindern, der selbst eine fluide Definition haben kann.

    Beachten Sie, dass es nicht hilfreich ist, den erforderlichen freien Speicherplatz allein durch diese Definition zu definieren, da dies dem Sprichwort entspricht, dass es ungefährlich ist, 130 km/h in Richtung einer Mauer zu fahren, bis Sie genau an dem Punkt ankommen, an dem Sie damit kollidieren.

  2. Die Rate, mit der Speicherplatz verbraucht wird, die eine zusätzliche variable Menge an Speicherplatz reserviert, damit das System nicht beeinträchtigt wird, bevor der Administrator Zeit hat, um zu reagieren.

Die spezifische Kombination aus Betriebssystem, Dateisystemen, zugrunde liegender Speicherarchitektur sowie Anwendungsverhalten, virtueller Speicherkonfiguration usw. stellt den Benutzer vor die Herausforderung, einen definitiven Bedarf an freiem Speicherplatz bereitzustellen.

Deshalb gibt es so viele "Nuggets" von Ratschlägen. Sie werden feststellen, dass viele von ihnen Empfehlungen zu einer bestimmten Konfiguration abgeben. Beispiel: "Wenn Sie eine SSD haben, bei deren Annäherung an die Kapazität Leistungsprobleme auftreten, müssen Sie über 20% freien Speicherplatz verfügen."

Da es keine einfache Antwort auf diese Frage gibt, müssen Sie zum Ermitteln des Mindestbedarfs an freiem Speicherplatz für Ihr System die verschiedenen allgemeinen Empfehlungen im Lichte der spezifischen Konfiguration Ihres Systems berücksichtigen, dann einen Schwellenwert festlegen, überwachen und bestätigen bereit, es nach Bedarf anzupassen.

Oder Sie könnten nur mindestens 20% freien Speicherplatz behalten. Es sei denn, Sie haben ein RAID 6-Volume mit 42TB, das durch eine Kombination aus SSDs und herkömmlichen Festplatten sowie einer vorab zugewiesenen Auslagerungsdatei gesichert ist ... (das ist ein Witz für die ernsthaften Leute.)

29

Die "Regeln" variieren je nach Ihren Anforderungen. Und es gibt Sonderfälle, wie zum Beispiel ZFS: "Bei einer Kapazität von 90% wechselt ZFS von der leistungsbasierten zur platzbasierten Optimierung, was massive Auswirkungen auf die Leistung hat." Ja, dies ist ein Design - Aspekt von ZFS ... nicht durch Beobachtung oder anekdotische Beweise abgeleitet. Dies ist natürlich weniger problematisch, wenn Ihr ZFS-Speicherpool ausschließlich aus SSDs besteht. Aber auch mit sich drehenden Festplatten können Sie zufriedenstellend 99% oder 100% erreichen, wenn Sie sich mit statischem Speicher beschäftigen und keine erstklassige Leistung benötigen - zum Beispiel Ihre persönliche Lieblingsfilmsammlung, die sich nie und nirgendwo ändert Sicherheit hat Priorität 1.

Als nächstes btrfs - ein extremer Fall: Wenn der freie Speicherplatz zu niedrig wird (ein paar MByte), können Sie den Punkt ohne Rückkehr erreichen. Nein, das Löschen von Dateien ist keine Option, da dies nicht möglich ist. Es ist einfach nicht genügend Speicherplatz zum Löschen von Dateien vorhanden. btrfs ist ein COW-Dateisystem (Copy-on-Write) und Sie können einen Punkt erreichen, an dem Sie Metadaten nicht mehr ändern können. Zu diesem Zeitpunkt können Sie Ihrem Dateisystem noch zusätzlichen Speicher hinzufügen (möglicherweise funktioniert ein USB-Stick), dann Dateien aus dem erweiterten Dateisystem löschen, das Dateisystem verkleinern und den zusätzlichen Speicher wieder entfernen. Auch dies ist ein Aspekt, der durch das Design des Dateisystems verursacht wird.

Menschen, die Ihnen "echte (ernsthafte) Daten" geben können, sind wahrscheinlich diejenigen, die sich mit "echter (ernsthafter) Speicherung" befassen. Twistys (ausgezeichnete) Antwort erwähnt Hybrid-Arrays (bestehend aus einer großen Menge billiger langsamer Drehungen, vielen schnell drehenden Festplatten, vielen SSDs ...), die in einer Unternehmensumgebung betrieben werden, in der die Geschwindigkeit, mit der sich der Administrator befindet, der wichtigste begrenzende Faktor ist Upgrades bestellen können. Der Wechsel von 16T zu 35T kann 6 Monate dauern. Daher erhalten Sie ernsthaft gesicherte Berichte, in denen empfohlen wird, den Alarm auf 50% zu setzen.

8
Klaws

Für SSDs sollte etwas Platz übrig bleiben, da sich die Wiederbeschreibungsrate erhöht und sich negativ auf die Schreibleistung der Festplatte auswirkt. Die 80% -ige Auslastung ist ein sicherer Wert, der wahrscheinlich für alle SSD-Festplatten gilt. Einige der neuesten Modelle funktionieren möglicherweise sogar mit einer zu 90-95% ausgelasteten Kapazität.

https://www.howtogeek.com/165542/why-solid-state-drives-slow-down-as-you-fill-them-up/

8
Jaroslav Kucera

Es gibt viele, viele Faktoren, die in sehr rüstspezifischen Mengen zum Ergebnis beitragen. Es gibt also keine feste Zahl, diese kann nur in Abhängigkeit von diesen Parametern gemessen werden. (Das ist wahrscheinlich der Grund, warum andere Benutzer keine spezifischen Untersuchungen zu diesem bestimmten Thema gemacht haben - zu viele Variablen, um irgendetwas aussagekräftiges zusammenzustellen.)

  • Hardware

    • Der Festplatte sind jederzeit alle Sektoren zugeordnet. Es ist also absolut egal, wie viele von ihnen aktuelle Benutzerdaten enthalten. (Für den Controller enthalten alle Sektoren zu jeder Zeit einige Daten. Er liest und überschreibt sie nur wie angegeben.)
    • Der SSD-Controller hingegen (de) ordnet seine Sektoren dynamisch zu, ähnlich einem Dateisystem. Das macht diesen Job bei höheren Auslastungen schwieriger. Wie viel schwieriger es ist und wie stark sich dies auf die beobachtbare Leistung auswirkt, hängt ab von:
      • Die Leistung und die Qualität des Controllers
      • Schreiben Sie die Last
      • Bis zu einem gewissen Grad Gesamtlast (um dem Controller Zeit für die Speicherbereinigung zu geben)
      • Speicherplatzüberschreitung (einige Hersteller lassen den Kunden sogar vorbestellen oder dynamisch ändern)
  • Dateisystem

    • Unterschiedliche Dateisysteme sind für unterschiedliche Lasten und Host-Verarbeitungsanforderungen ausgelegt. Dies kann bis zu einem gewissen Grad durch Formatparameter optimiert werden.
    • Die FS-Schreibleistung ist eine Funktion des freien Speicherplatzes und der Fragmentierung, die Leseleistung ist nur eine Funktion der Fragmentierung. Es verschlechtert sich von Anfang an allmählich, daher stellt sich die Frage, wo Ihre tolerierbare Schwelle liegt.
  • Ladungsart

    • Schreiblast betont das schnelle Auffinden und Zugreifen auf neue freie Blöcke
    • Bei starker Lesebelastung wird die Konsolidierung verwandter Daten betont, damit diese mit weniger Aufwand gelesen werden können
4
ivan_pozdeev

Dies hängt von der beabsichtigten Verwendung des Laufwerks ab. Im Allgemeinen sind jedoch 20% bis 15% freier Speicherplatz für sich drehende Festplatten und 10% oder mehr für SSDs geeignet.

Wenn dies das Hauptlaufwerk des Computers ist und Dateien möglicherweise verschoben werden, sollten 20% freier Speicherplatz erhebliche Verlangsamungen verhindern. Auf diese Weise steht auf dem gesamten Laufwerk genügend freier Speicherplatz zur Verfügung, damit Daten nach Bedarf verschoben und kopiert werden können. Ein sich drehendes Laufwerk funktioniert am besten, wenn sich die freien Speicherorte näher an den ursprünglichen Daten befinden, während sich der physische Speicherort auf einer SSD nicht auf die tägliche Leistung auswirkt. Das rotierende Laufwerk sollte also aus reinen Leistungsgründen mehr freien Speicherplatz haben. Auf der SSD verringert der reduzierte freie Speicherplatz die Lebensdauer des Laufwerks, verringert jedoch nicht die Leistung. SSDs versuchen, temporäre Daten und zufällige Download-Dateien an Orten zu speichern, an denen sie am seltensten verwendet werden, damit sie die Zellenauslastung auf das gesamte Laufwerk verteilen können. Andernfalls altert ein Teil des Laufwerks viel schneller als der Rest. Einige neuere SSDs können Dateien möglicherweise intelligent neu anordnen, sodass der leere Speicherplatz verschoben wird. Ältere Laufwerke tun dies jedoch möglicherweise nicht.

Wenn es sich um ein Medien- oder Langzeitspeicherlaufwerk handelt, sollten 5% bis 10% frei sein, und 10% wären vorzuziehen, wenn es sich um eine sich drehende Festplatte handelt. Sie benötigen nicht so viel freien Speicherplatz, da für dieses Laufwerk selten Daten verschoben werden müssen, sodass die Leistung bei weitem nicht so wichtig ist. Der freie Speicherplatz ist hauptsächlich nützlich, um fehlerhafte Sektoren zu verwerfen und zu ersetzen und um zu ermöglichen, dass Dateien zusammenhängender sind.

Ich würde kein Laufwerk länger als einen Tag über 95% der Kapazität hinausschieben, es sei denn, es gibt einen sehr guten, klaren Grund.

3
user3685427

Bei mechanischen Antrieben ist zu beachten, dass der Durchsatz der Außenkante höher ist als der des Innenraums. Dies liegt daran, dass für den größeren Außenumfang mehr Sektoren pro Umdrehung vorhanden sind.

Wenn das Laufwerk die Kapazität erreicht, nimmt die Leistung ab, da nur langsamere innere Sektoren verfügbar sind.

Für eine eingehendere Analyse siehe https://superuser.com/a/643634

3
Wes Toleman