it-swarm.com.de

Was ist der Unterschied zwischen Messe- und Kapazitätsplanern?

Ich bin neu in der Welt von Hadoop und möchte den Unterschied zwischen Messe- und Kapazitätsplanern kennenlernen. Auch wann sollen wir jeden benutzen? Bitte antworten Sie auf einfache Weise, da ich viele Dinge im Internet lese, aber nicht viel davon bekomme.

12
Flowra

Faire Planung ist eine Methode, um Ressourcen Jobs zuzuweisen, sodass im Durchschnitt alle Jobs im Laufe der Zeit den gleichen Ressourcenanteil erhalten. Wenn ein einzelner Job ausgeführt wird, verwendet dieser Job den gesamten Cluster. Wenn andere Jobs übergeben werden, werden den neuen Jobs freiwerdende Aufgabenbereiche zugewiesen, sodass jeder Job ungefähr die gleiche CPU-Zeit erhält. Im Gegensatz zum Standard-Hadoop-Scheduler, der eine Warteschlange von Jobs bildet, können kurze Jobs in angemessener Zeit fertiggestellt werden, ohne lange Jobs zu verhindern. Es ist auch eine sinnvolle Möglichkeit, einen Cluster für mehrere Benutzer gemeinsam zu nutzen. Fair Sharing kann schließlich auch mit Job-Prioritäten arbeiten. Die Prioritäten werden als Gewichtungen verwendet, um den Anteil der gesamten Rechenzeit zu bestimmen, den jeder Job erhalten soll.

Mit dem CapacityScheduler können Sie einen großen Cluster gemeinsam nutzen und dabei jeder Organisation eine Mindestkapazitätsgarantie geben. Die zentrale Idee ist, dass die verfügbaren Ressourcen im Hadoop Map-Reduce-Cluster auf mehrere Organisationen aufgeteilt sind, die den Cluster gemeinsam auf der Grundlage der Rechenanforderungen finanzieren. Ein weiterer Vorteil besteht darin, dass eine Organisation auf übermäßige Kapazitäten zugreifen kann, die von anderen nicht genutzt werden. Dies gibt den Organisationen auf kostengünstige Weise Elastizität.

19
user3484461

Nachfolgend finden Sie den Funktionsvergleich der beiden Scheduler.

 enter image description here

4
Vikas Singh

Fair-Scheduler, Zuteilung von Ressourcenpools (nach Gewichtungen), wobei innerhalb jedes Pools eine faire Freigabe erfolgt

Capacity Scheduler, Weist Ressourcen zu Pools zu, wobei FIFO innerhalb jedes Pools geplant wird

Der Capacity Scheduler ermöglicht das Freigeben eines großen Clusters, wobei jeder Organisation Kapazitätsgarantie gegeben wird. mit der Möglichkeit, dass Überkapazität nicht von anderen genutzt wird.

0
Mehdi TAZI