Informes: Programador de tareas para Warehouse Reporting

[#1]

Un programador de tareas en un clúster de hadoop calendariza los trabajos que se componen de tareas y asigna recursos específicos a cada trabajo que se ejecuta en un clúster. De manera predeterminada, el programador de tareas asigna una cantidad igual de recursos a todos los trabajos. Por ejemplo, si hay 10 trabajos ejecutándose, compartirán los recursos del clúster de manera igualitaria. Sin embargo, puede configurar el programador de tareas para controlar la ejecución de trabajos de modo que un trabajo se ejecute de manera más rápida que otros asignando más recursos (pools o líneas de espera) al trabajo. Esto ayuda a priorizar para ejecutar algunos informes por sobre otros.

Funciones

NetWitness Suite es compatible con dos programadores de tareas:

• Fair Scheduler (org.apache.hadoop.mapred.FairScheduler)
• Capacity Scheduler (org.apache.hadoop.mapred.CapacityTaskScheduler)

Fair Scheduler

Este programador divide la capacidad total del clúster en pools lógicos. Puede enviar un trabajo a cualquiera de estos pools. Todos los trabajos enviados a un pool comparten únicamente los recursos asignados al pool. Una vez que un pool cuenta con recursos libres, los recursos liberados se entregan a otros pools con trabajos en ejecución. Por ejemplo, un programador justo tiene el 100 % de los recursos con dos pools, específicamente Pool A y Pool B, que comparten los recursos totales con un 40 % y 60 % respectivamente. Si Pool A cuenta con cuatro trabajos en ejecución, asigna el 10 % de los recursos a cada trabajo. Cuando se completan cuatro trabajos, los recursos liberados se asignan al Pool B.

Nota: Puede configurar un pool para ejecutar más de un trabajo en paralelo.

Capacity Scheduler

Este programador divide la capacidad total del clúster en líneas de espera. A cada línea de espera se le asigna una parte preconfigurada de la capacidad total. Se puede enviar un trabajo a cualquiera de estas líneas de espera. Si se envía más de un trabajo a la misma línea de espera, los trabajos se ejecutarán de manera secuencial. Por ejemplo, si un analizador de capacidad tiene el 100 % de los recursos con tres líneas de espera, específicamente Predeterminada, Baja y Alta, que comparten los recursos totales con 20 %, 30 % y 50 % respectivamente. Si Predeterminada tiene dos trabajos, D1 y D2, Baja tiene tres trabajos, L1, L2 y L3, y Alta tiene cuatro trabajos, H1, H2, H3 y H4, estos trabajos se ejecutan en sus líneas de espera respectivas de manera secuencial. Si se completan los trabajos de una línea de espera, los recursos liberados no se distribuirán a otras líneas de espera.

Previous Topic:Reglas avanzadas de la base de datos de Warehouse

Next Topic:Agregados de consulta

You are here

Table of Contents > Apéndice > Programador de tareas para Warehouse Reporting