it-swarm.com.de

AWS S3 berechnet 4 TB Speicherplatz, wenn nur weniger als 1 GB verwendet werden

Ich habe Probleme, meine große S3-Rechnung zu verstehen, und dachte, ich würde hier nachfragen, bevor ich 30 US-Dollar für den monatlichen AWS-Support fallen lasse.

Grundsätzlich habe ich eine Amazon EC2 Instanz, die eine API für verschiedene Kryptowährungsaustausche erstellt und die Antworten auf der Instanz HD speichert. Anrufe werden ungefähr alle 5 Minuten getätigt, Antwortobjekte sind ungefähr 100 kb groß, werden von einem R Skript gelesen und zu einem CSV Datei alle ~ 8 Minuten. Diese CSV-Datei wird ungefähr alle 15 Minuten mit einem Amazon S Bucket synchronisiert.

Die CSV-Dateien haben normalerweise alle 15 Minuten eine Größe von 10 MB für etwa 15 Kryptowährungen. Wenn Sie also in den Amazon S3-Bucket schauen, werden möglicherweise höchstens 0,5 GB Speicherplatz verwendet.

Die 'TimedStorage-ByteHours' lesen jedoch ungefähr 4 TB!

Amazon Simple Storage Service TimedStorage-ByteHrs 89,55 USD

0,000 USD pro GB - Speicherplatz unter der monatlichen globalen kostenlosen Stufe 5 GB - Mo 0,00 USD

0,023 USD pro GB - erste 50 TB/Monat des verwendeten Speichers 3.893,399 GB - Mo 89,55 USD

Irgendwelche Ideen?

38
Garglesoap

Höchstwahrscheinlich haben Sie S3-Versionierung aktiviert - das bedeutet, dass alte Objekte, wenn sie mit einer neueren Version überschrieben werden, nicht gelöscht werden, sondern in einem Verlauf versteckt werden. Zur Überprüfung gehen Sie zu Bucket -> Eigenschaften -> Versionierung.

(S3 Versioning

Sie können die alten Versionen auch im Browser anzeigen, wie in diesem Screenshot habe ich mehrere Versionen des 108c05...json Datei:

(Show S3 versions

Wenn Sie die Versionierung aktiviert haben, dies aber nicht möchten, können Sie die Versionierung anhalten . Beachten Sie jedoch, dass die alten Versionen dadurch nicht gelöscht werden. Sie müssen entweder:

  • verwenden Sie AWS-CLI und einige Skripte (beginnen Sie mit aws s3api list-object-versions)
  • konfigurieren Sie Bucket Lifecycle Policy , um die alten Versionen abzulaufen. Dies geschieht über S3 -> Bucket -> Management -> Lebenszyklus -> Lebenszyklusregel hinzufügen und dann auf dem Bildschirm Ablauf die folgenden Details ausfüllen:

(enter image description here

Ich hoffe, das hilft :)

66
MLu

Für Speicher mit seltenem Zugriff wird eine Mindestgebühr von 30 Tagen pro Artikel berechnet

  1. Gehen Sie zu https://s3.console.aws.Amazon.com und rufen Sie die Dateiliste für einen Ihrer Eimer ab.
  2. Beachten Sie, dass jede Datei im Bucket eine Speicherklasse hat. Die Wahl der Speicherklasse liegt unter Ihrer Kontrolle und wirkt sich auf die Kosten aus.

Standard ist am teuersten, daher verwenden einige Leute infrequent access mit einer niedrigeren monatlichen Gebühr (~ 50% Rabatt) pro GB, die gemäß der Preistabelle gespeichert wird. ABER Infrequent hat auch eine Abrufgebühr von 0,01 USD/GB, sodass nur Gesamtkosten für Dateien gespart werden, die mindestens einen Monat gespeichert und weniger als einmal pro Monat abgerufen werden. Es kann auch eine Lebenszyklusrichtlinie für Ihren Bucket geben, die die Speicherklasse von Dateien im Laufe der Zeit ändert. Dies kann sich darauf auswirken, wann die Mindestspeicherdauer von 30 Tagen beginnt.

Im Kleingedruckten infrequent access hat eine Mindestgebühr von 30 Tagen für jeden gespeicherten Artikel.

Quelle: https://aws.Amazon.com/s3/pricing/

Erste Fußnote mit †

† S3 Standard-Infrequent Access- und S3 One Zone-Infrequent Access-Speicher haben eine abrechnungsfähige Mindestobjektgröße von 128 KB. Kleinere Objekte können gespeichert werden, werden jedoch mit 128 KB Speicher berechnet. S3 Standard-Infrequent Access und S3 One Zone-Infrequent Access Storage werden für eine Mindestspeicherdauer von 30 Tagen berechnet. Für Objekte, die vor 30 Tagen gelöscht, überschrieben oder in eine andere Speicherklasse überführt wurden, wird die normale Nutzungsgebühr zuzüglich einer anteiligen Anforderungsgebühr für den Rest des Mindestwerts von 30 Tagen berechnet. Für Objekte, die 30 Tage oder länger gelagert werden, wird keine Mindestanforderungsgebühr von 30 Tagen erhoben

Was an Amazon S3 und auch an Google Cloud Storage teuer ist, sind die Netzwerkgebühren, wenn Daten über das öffentliche Internet gesendet werden, anstatt in der Cloud des Unternehmens gespeichert zu werden. Die Netzwerkgebühr für das einmalige Abrufen kann die Speichergebühr für 3-4 Monate leicht überschreiten. ,09 USD/GB (Okt. 2018) für AWS S , ,12 USD/GB für Google Cloud Storage , niedrigste Nutzungsstufe.

Digital Ocean verfügt über eine S3-kompatible Speicherschicht namens "Spaces", die möglicherweise einen Besuch wert ist. Es wurden einige Fehler gemeldet, die möglicherweise in gewisser Weise gedrosselt werden, aber die Gesamtpreise sehen interessant aus und sind für einige Anwendungen möglicherweise "gut genug".

4
Paul