it-swarm.com.de

hardwarevoraussetzung für die Installation von Hadoop auf einem Laptop

Ich plane einige Erfahrungen mit Hadoop, MapReduce und anderen Big-Data-Dingen zu sammeln. Zunächst möchte ich es auf einem Laptop installieren. Ich habe mich gefragt, welche Laptop-Hardware für die Installation von Hadoop unter Windows am besten geeignet ist. Ich gehe davon aus, dass ich eine Einzelknoteninstallation installieren muss. Wenn nicht, führen Sie mich bitte durch die richtige Konfiguration. Grüße Nadeem

5
Nhqazi

Ich weiß, dass Sie die Installation unter Windows erwähnt haben, aber Cloudera bietet Hadoop Linux VM-Images mit einem Knoten an, mit denen Sie in kürzester Zeit einsatzbereit sind. Sie haben sogar Beispiele und Skripte enthalten, es ist ein sehr guter Anfang.

https://www.cloudera.com/downloads.html

(Vergessen Sie nicht, den Abschnitt Erste Schritte zu lesen.)

Wenn Sie mehr über Big Data und Hadoop erfahren möchten, sollten Sie meiner Meinung nach auch etwas Zeit investieren, um sich mit Linux vertraut zu machen, da die meisten realen Umgebungen Linux-basiert sind.

Systemanforderungen: Pro Cloudera-Seite benötigt die VM 4 GB RAM und 3 GB Festplattenspeicher. Dies bedeutet, dass Ihr Laptop mehr als das haben sollte (ich würde 8 GB + empfehlen). Was den Speicher betrifft, geht es Ihnen gut, solange Sie genug Zeit haben, um mit kleinen und mittleren Datensätzen (10 GB) zu testen. Was die CPU angeht, wenn Ihr Computer über diese Menge an RAM verfügt, ist das höchstwahrscheinlich in Ordnung. Ich verwende einen beschissenen Pentium G3210 mit einem einzigen Knoten und 4 GB RAM, um meine kleinen Jobs zu testen, und es funktioniert einwandfrei.

Wenn Sie später aus dieser Umgebung herauswachsen, können Sie einfach zu Ihrem eigenen pseudoverteilten Setup wechseln.

Natürlich, wenn das, was ich gerade gesagt habe, für Sie keinen Sinn ergibt, dann haben Sie noch etwas zu lesen ...

6
Matt Fortier

Wenn Sie einfache Programme üben möchten (nicht datenintensiv), sollten 4 GB RAM gut sein. Wenn Sie einen einzelnen Knoten installieren möchten, ist die beste Konfiguration 32 GB RAM mit mindestens 4 Kernen.

Weitere Informationen zum Installieren eines einzelnen Knotens finden Sie unter myhobbyandexperiments.wordpress.com

2
Guest

Es ist unwahrscheinlich, dass Sie einen Linux-Laptop besitzen. Dazu benötigen Sie eine 64-Bit-CPU, die 64-Bit-Virtualisierung unterstützt - und natürlich ein 64-Bit-Betriebssystem. Obwohl die Unterstützung für Virtualisierung häufig auf BIOS-Ebene deaktiviert ist, müssen Sie sie suchen und aktivieren.

Ansonsten viel RAM - mindestens 8 GB, obwohl 16 GB bevorzugt werden. Ich habe auch gerne verschiedene Festplatten für verschiedene Betriebssysteme, also wäre ein Laptop, bei dem Sie DVD durch einen HD-Caddy ersetzen können, und eine zweite SSC-Festplatte (sagen wir 128 GB) gut.

1
Alex J.