Reporting : Planificateur de tâches pour Warehouse Reporting

Document created by RSA Information Design and Development on Feb 6, 2017
Version 1Show Document
  • View in full screen mode
  

Un planificateur de tâches dans un cluster Hadhoop planifie les tâches, et alloue des ressources spécifiques à chaque tâche exécutée dans un cluster. Par défaut, le planificateur de tâches alloue un nombre égal de ressources à l'ensemble des tâches. Par exemple, si des tâches sont exécutées, elles partageront les ressources du cluster de façon égale. Toutefois, vous pouvez configurer le planificateur de tâches pour contrôler l'exécution des tâches. Vous pouvez en effet faire en sorte qu'une tâche soit exécutée plus rapidement que d'autres en lui allouant davantage de ressources (pools ou files d'attente). Vous pouvez ainsi anticiper l'exécution de certains rapports avant les autres.

Fonctions

Security Analytics prend en charge deux planificateurs de tâches :

  • Planificateur Fair (org.apache.hadoop.mapred.FairScheduler)
  • Planificateur de capacité (org.apache.hadoop.mapred.CapacityTaskScheduler)

Planificateur Fair

Ce planificateur divise la capacité totale du cluster en pools logiques. Vous pouvez envoyer une tâche au pool de votre choix. Toutes les tâches envoyées à un pool partagent les ressources allouées à ce dernier uniquement. Lorsqu'un pool dispose de ressources, celles-ci sont attribuées à d'autres pool dans lesquels des tâches sont en cours d'exécution. Par exemple, un planificateur Fair dispose de 100 % des ressources dans deux pools, Pool A et Pool B. Ces deux pools se partagent la totalité des ressources à 40 et 60 %, respectivement. Si quatre tâches sont exécutées dans le Pool A, le planificateur alloue 10 % des ressources à chaque tâche. Lorsque ces quatre tâches sont terminées, les ressources libérées sont attribuées au Pool B.

Remarque : Vous pouvez configurer un pool pour qu'il exécute plusieurs tâches en parallèle.

Planificateur de capacité

Ce planificateur divise la capacité totale du cluster dans des files d'attente. Chaque file se voit allouer une partie préconfigurée de la capacité totale. Une tâche peut être envoyée à n'importe laquelle de ces files d'attente. Si plusieurs tâches sont envoyées à la même file d'attente, elles sont exécutées l'une à la suite de l'autre. Par exemple, il se peut que le planificateur de capacité dispose de 100 % des ressources et de trois files d'attente, Par défaut, Faible et Élevé qui se partagent la totalité des ressources à 20, 30 et 50%, respectivement. Si la file d'attente Par défaut comprend deux tâches, D1 et D2, que la file Faible en comporte trois L1, L2 et L3, et que la file Élevé en comporte quatre, H1, H2, H3 et H4, ces tâches sont exécutées dans leur file d'attente respectives l'une à la suite de l'autre. Si les tâches d'une file d'attente sont terminées, les ressources libérées ne sont pas réattribuées aux autres files d'attente.

You are here
Table of Contents > Références du module Reporting > Références aux rapports > Schedule_Ref > Planificateur de tâches pour Warehouse Reporting

Attachments

    Outcomes