it-swarm.com.de

Der Standard-Namenode-Port von HDFS ist 50070.Aber ich bin an einigen Stellen auf 8020 oder 9000 gestoßen

Wenn ich den hadoop-Cluster einrichte, lese ich die Namenode-Läufe auf 50070 und richtete ich entsprechend ein, und er läuft gut.

In einigen Büchern bin ich jedoch auf die Adresse des Namensknotens gestoßen: 

hdfs://localhost:9000/

oder

hdfs://localhost:8020

Was genau ist die richtige Nummer, um den Port von Namenode festzulegen?

34
Kumar

Die Standardadresse der namenode-Webbenutzeroberfläche lautet http://localhost:50070/. Sie können diese Adresse in Ihrem Browser öffnen und die Informationen zum Namensennamen überprüfen.

Die Standardadresse des Namenode-Servers lautet hdfs://localhost:8020/. Sie können eine Verbindung herstellen, um über HDFS-API auf HDFS zuzugreifen. Das ist die reale Serviceadresse.

28
zsxwing

Die Standard-Hadoop-Ports lauten wie folgt: (HTTP-Ports, sie haben eine WEB-Benutzeroberfläche):

Daemon                   Default Port  Configuration Parameter
-----------------------  ------------ ----------------------------------
Namenode                 50070        dfs.http.address
Datanodes                50075        dfs.datanode.http.address
Secondarynamenode        50090        dfs.secondary.http.address
Backup/Checkpoint node?  50105        dfs.backup.http.address
Jobracker                50030        mapred.job.tracker.http.address
Tasktrackers             50060        mapred.task.tracker.http.address

Intern verwendet Hadoop hauptsächlich Hadoop IPC (Inter Process Communicator) für die Kommunikation zwischen Servern. In der folgenden Tabelle sind die von Hadoop verwendeten Ports und Protokolle aufgeführt. Diese Tabelle enthält nicht die oben genannten HTTP-Ports.

Daemon      Default Port        Configuration Parameter     
------------------------------------------------------------
Namenode    8020                fs.default.name         
Datanode    50010               dfs.datanode.address        
Datanode    50020               dfs.datanode.ipc.address                                    
Backupnode  50100               dfs.backup.address          

weitere Informationen finden Sie hier: http://blog.cloudera.com/blog/2009/08/hadoop-default-ports-quick-reference/

28
msoliman

Um auf die Hadoop WEB-Benutzeroberfläche zuzugreifen, müssen Sie http: // localhost: 50075/ Eingeben, obwohl Ihre core-site.xml http: // localhost: 9000 enthält, da es sich um HDFS handelt Anforderungen und 50075 ist der Standardport für die WEB-Benutzeroberfläche.

3
Hemanth

Dies ist darauf zurückzuführen, dass sich der Standard für verschiedene hadoop-Konfigurationen und -Distributionen unterscheidet. Wir können den Port immer konfigurieren, indem Sie die Eigenschaften fs.default.name oder fs.defaultFS wie folgt in core-site.xml ändern

<configuration>
 <property>
     <name>fs.default.name</name>
     <value>hdfs://localhost:9000</value>
 </property>
</configuration>

Für Hadoop 1.0.4, wenn ich die Portnummer nicht wie unten angegeben erwähne

<value>hdfs://localhost</value>

dann ist der Standardport 8020. Aber für einige der Versionen wie .20 las ich, dass es 9000 ist. Es hängt also von der verwendeten Hadoop-Version ab.

Die gesamte Konfiguration und Verteilung verwendet jedoch 50070 als Standard-Portnummer für HDFS-UI.

3
sathish reddy

9000 ist der Standard-HDFS-Service-Port. Dies hat keine Web-UI. 50070 ist der Standard-Web-UI-Port für NameNode (obwohl in Hadoop 3.0 oder höher 50070 auf 9870 aktualisiert wurde).

1
Binita Bharati

50070 ist der Standard-UI-Port für Namenode. 8020/9000 ist der Inter Process Communicator-Port (IPC) für Namenode.

Verweis auf IPC - Port: https://en.wikipedia.org/wiki/Inter-process_communication

1
Bijoy

50070 ist der Standard-UI-Port von Namenode für http. Für https ist dessen 50470 . 9000 der IPC Port (Inter Process Communicator). Wenn Sie auf localhost: 50070 klicken, können Sie Namenode-Konfigurationen mit einer Übersicht von 9000 (aktiv) und localhost: 9000 mit der Meldung: .__ sehen. "Es sieht so aus, als würden Sie eine HTTP-Anforderung an einen Hadoop IPC Port. Dies ist nicht der richtige Port für die Webschnittstelle dieses Daemons. " erforderlich für Dateisystem-Metadatenoperationen.

0
user2235729