it-swarm.com.de

Wie scp auf Amazon S3?

Ich muss Sicherungsdateien von ~ 2 TB an S3 senden. Ich denke, die stressfreieste Option wäre der Linux-Befehl scp (habe Schwierigkeit mit s3cmd und möchte nicht, dass ein Java/RoR-Overkill dies tut).

Ich bin mir jedoch nicht sicher, ob es möglich ist: Wie man die privaten und öffentlichen Schlüssel von S3 mit scp verwendet, und weiß nicht, welche IP-Adresse/URL/Pfad mein Ziel ist?

Ich schätze deine Hinweise.

20
qliq

Sie können nicht SCP.

Der schnellste Weg, wenn Sie nichts dagegen haben, Geld auszugeben, ist wahrscheinlich nur, es ihnen auf einer Diskette zu schicken, und sie werden es dort für Sie ablegen. Siehe ihren Import/Export Dienst.

8
El Yobo

Ab 2015 wird SCP/SSH nicht unterstützt (und wird es wahrscheinlich niemals aus den in den anderen Antworten genannten Gründen sein).

Offizielle AWS-Tools zum Kopieren von Dateien nach/von S3

  1. Befehlszeilentool (pip3 install awscli) - Anmeldeinformationen müssen angegeben werden. Ich bevorzuge eher Umgebungsvariablen als eine Datei: AWS_ACCESS_KEY_ID, AWS_SECRET_ACCESS_KEY.

    aws s3 cp /tmp/foo/ s3://bucket/ --recursive --exclude "*" --include "*.jpg"
    

    und ein rsync-ähnlicher Befehl:

    aws s3 sync . s3://mybucket
    
  2. Webschnittstelle:

Nicht-AWS-Methoden

Alle anderen Lösungen hängen von den ausführbaren Dateien von Drittanbietern ab (z. B. Botosync, Jungledisk ...). Diese können groß sein, sofern sie unterstützt werden. Aber Tools von Drittanbietern kommen und gehen im Laufe der Jahre und Ihre Skripte haben eine kürzere Haltbarkeit.


BEARBEITEN: Eigentlich basiert AWS CLI auf Botocore:

https://github.com/boto/botocore

Also verdient Botosync als älterer Staatsmann ein bisschen mehr Respekt, als ich es vielleicht gegeben habe.

32

Hier ist genau das Richtige, boto-rsync . Installieren Sie in einer beliebigen Linux-Box boto-rsync und übertragen Sie dann/local/path/nach your_bucket/remote/path/

boto-rsync -a your_access_key -s your_secret_key /local/path/ s3://your_bucket/remote/path/

Die Pfade können auch Dateien sein.

Verwenden Sie für einen anderen S3-kompatiblen Anbieter als AWS --endpoint:

boto-rsync -a your_access_key -s your_secret_key --endpoint some.provider.com /local/path/ s3://your_bucket/remote/path/
11
datasn.io

Warum scpst du es nicht auf ein EBS-Volume und benutzt dann von dort aus s3cmd? Solange sich Ihr EBS-Volume und Ihr S3-Bucket in derselben Region befinden, werden Ihnen nur einmalige Gebühren für eingehende Daten berechnet (von Ihrem Netzwerk zum EBS-Volume).

Ich habe festgestellt, dass s3cmd innerhalb des s3-Netzwerks viel zuverlässiger ist und die Datenübertragungsrate viel höher ist als direkt an s3.

4
robotrobot

Es gibt ein erstaunliches Werkzeug namens Dragon Disk. Es funktioniert sogar als Sync-Tool und nicht nur als einfaches SCP.

http://www.s3-client.com/

Die Anleitung zum Einrichten von Amazon S3 wird bereitgestellt here und nach dem Einrichten können Sie die Dateien entweder von Ihrem lokalen Computer in S3 kopieren oder eine automatische Synchronisierung einrichten. Die Benutzeroberfläche ist WinSCP oder Filezilla sehr ähnlich.

1
Koustav Ray

Bitte schön,

scp [email protected]_IP:/FILE_PATH >(aws s3 cp - s3://BUCKET/SAVE_FILE_AS_THIS_NAME)
0
GypsyCosmonaut