it-swarm.com.de

wie man hadoop Jobs tötet

Ich möchte alle meine Hadoop-Jobs automatisch beenden, wenn mein Code auf eine nicht behandelte Ausnahme stößt. Ich frage mich, wie es am besten ist, dies zu tun.

Vielen Dank

51
Frank

Führen Sie je nach Version Folgendes aus:

Version <2.3.

Töte einen Hadoop-Job:

hadoop job -kill $jobId

Sie können eine Liste aller Tätigkeiten von jobId abrufen:

hadoop job -list

version> = 2.3.

Töte einen Hadoop-Job:

yarn application -kill $ApplicationId

Sie können eine Liste aller Aufgaben von ApplicationId erhalten:

yarn application -list
110
dr0i

Die Verwendung des folgenden Befehls ist veraltet

hadoop job -list
hadoop job -kill $jobId

erwägen, zu verwenden

mapred job -list
mapred job -kill $jobId
17
Prabhu

Führen Sie list aus, um alle Jobs anzuzeigen, und verwenden Sie dann die jobID/applicationID im entsprechenden Befehl.

Töte Mapred Jobs:

mapred job -list
mapred job -kill <jobId>

Garne töten:

yarn application -list
yarn application -kill <ApplicationId>
17
Ani Menon

Eine nicht behandelte Ausnahme (vorausgesetzt, sie ist wiederholbar wie fehlerhafte Daten im Gegensatz zu Lesefehlern von einem bestimmten Datenknoten) schlägt den Job schließlich trotzdem fehl.

Sie können festlegen, wie oft eine bestimmte Zuordnung oder Reduzierungsaufgabe höchstens fehlschlagen darf, bevor der gesamte Auftrag über die folgenden Eigenschaften fehlschlägt:

  • mapred.map.max.attempts - Die maximale Anzahl von Versuchen pro Kartenaufgabe. Mit anderen Worten, Framework wird versuchen, eine Kartenaufgabe so oft auszuführen, bevor es aufgibt.
  • mapred.reduce.max.attempts - Wie oben, jedoch zur Reduzierung von Aufgaben

Wenn Sie möchten, dass der Job beim ersten Fehler fehlschlägt, setzen Sie diesen Wert von seinem Standardwert 4 auf 1.

4
Chris White

Einfach die Prozess-ID mit Gewalt beenden, der Hadoop-Job wird auch automatisch beendet. Verwenden Sie diesen Befehl:

kill -9 <process_id> 

beispiel: Prozess-ID-Nr .: 4040 Namensknoten

[email protected]:~$ kill -9 4040
2
Venu A Positive