Reporting: Aufgabenplaner für Warehouse Reporting

Document created by RSA Information Design and Development on May 11, 2018
Version 1Show Document
  • View in full screen mode

Ein Aufgabenplaner in einem Hadoop-Cluster plant die aus Aufgaben bestehenden Jobs und weist jedem Job, der in einem Cluster ausgeführt wird, spezifische Ressourcen zu. Standardmäßig weist der Aufgabenplaner allen Jobs gleich viele Ressourcen zu. Wenn z. B. 10 Jobs ausgeführt werden, so werden die Ressourcen des Clusters gleichmäßig aufgeteilt. Sie können den Aufgabenplaner jedoch so konfigurieren, dass er einen Job schneller als die anderen ausführen lässt, indem diesem Job mehr Ressourcen (Pools oder Warteschlangen) zugewiesen werden. Dadurch können Sie einige Berichte bevorzugt vor allen anderen ausführen lassen.

Funktionen

NetWitness Suite unterstützt zwei Aufgabenplaner:

  • Fair-Planer (org.apache.hadoop.mapred.FairScheduler)
  • Kapazitätsplaner (org.apache.hadoop.mapred.CapacityTaskScheduler)

Fair-Planer

Dieser Planer teilt die Gesamtkapazität des Clusters in logische Pools auf. Sie können einen Job an einen beliebigen dieser Pools senden. Alle an einen Pool gesendeten Jobs teilen sich nur die Ressourcen, die dem Pool zugewiesen sind. Wenn ein Pool Ressourcen frei hat, werden die freien Ressourcen anderen Pools zur Verfügung gestellt, in denen Jobs ausgeführt werden. Beispiel: Ein Fair Scheduler hat 100 % Ressourcen in zwei Pools namens Pool A und Pool B zur Verfügung, wobei auf Pool A 40 % und auf Pool B 60 % der Ressourcen entfallen. Wenn in Pool A vier Jobs ausgeführt werden, so werden dort jedem Job 10 % der Ressourcen zugewiesen. Wenn die vier Jobs abgeschlossen sind, werden die freien Ressourcen Pool B zugewiesen.

Hinweis: Sie können einen Pool so konfigurieren, dass er mehrere Jobs parallel ausführt.

Kapazitätsplaner

Dieser Planer teilt die Gesamtkapazität des Clusters in Warteschlangen auf. Jeder Warteschlange wird ein vorkonfigurierter Anteil der Gesamtkapazität zugewiesen. Ein Job kann an eine beliebige dieser Warteschlangen gesendet werden. Wenn mehrere Jobs an dieselbe Warteschlange gesendet werden, so werden die Jobs nacheinander ausgeführt. Beispiel: Ein Capacity Scheduler hat 100 % Ressourcen in drei Warteschlangen namens „Standard“, „Niedrig“ und „Hoch“ zur Verfügung, auf die jeweils 20 %, 30 % bzw. 50 % der Ressourcen entfallen. Wenn auf „Standard“ zwei Jobs namens S1 und S2 ausgeführt werden, auf „Niedrig“ drei Jobs namens N1, N2 und N3 und auf „Hoch“ vier Jobs namens H1, H2, H3 und H4, werden diese Jobs nacheinander in ihren jeweiligen Warteschlangen ausgeführt. Wenn die Jobs in einer Warteschlange abgeschlossen sind, werden die freien Ressourcen nicht an die anderen Warteschlangen verteilt.

Next Topic:Abfrageaggregate
You are here
Table of Contents > Anhang > Aufgabenplaner für Warehouse Reporting

Attachments

    Outcomes