Reporting Engine: Agregar Warehouse como un origen de datos

Document created by RSA Information Design and Development on Apr 30, 2018
Version 1Show Document
  • View in full screen mode
 

Después de configurar el Reporting Engine, debe agregar los orígenes de datos de Warehouse a Reporting Engine, de modo que pueda extraer los datos y generar Informes y Alertas. El procedimiento para configurar Warehouse como origen de datos es diferente.

Configurar Warehouse como un origen de datos en Reporting Engine

Requisito previo

Debe realizar las siguientes configuraciones de Warehouse para que pueda usar los datos del origen de datos de Warehouse para generar Informes y Alertas:

  • Agregar un origen de datos de Warehouse en Reporting Engine
  • Establecer el origen de datos de Warehouse como el origen predeterminado

Requisito previo

Asegúrese de:

  • Que el servidor de Hive esté en ejecución en todos los nodos de Warehouse. Puede usar el siguiente comando para comprobar el estado del servidor de Hive:
    status hive2 (MapR deployments)
    service hive-server2 status (Horton Works deployments)
  • Que Warehouse Connector esté configurado para escribir datos en implementaciones de Warehouse.
  • Si la autenticación Kerberos está habilitada para HiveServer2, asegúrese de que el archivo keytab se haya copiado al directorio /var/netwitness/re-server/rsa/soc/reporting-engine/ en el host de Reporting Engine.

    Nota: Asegúrese de que la función de usuario rsasoc tenga permisos de lectura para leer el archivo keytab. Para obtener más información, consulte Configurar permisos de orígenes de datos.

    Además, asegúrese de actualizar la ubicación del archivo keytab en el parámetro Archivo keytab de Kerberos de la vista Configuración del servicio de Reporting Engine. Para obtener más información, consulte Pestaña General.

Realice los siguientes pasos para asociar un origen de datos de Horton Works (HDP) a Reporting Engine

Nota: Asegúrese de descargar el archivo hive-jdbc-1.2.1-with-full-dependencies.jar. Este jar contiene el archivo del driver de Hive 1.2.1 que se conecta a Reporting Engine para Hiveserver2 Hive 1.2.1 desde RSA Link (https://community.rsa.com/docs/DOC-67251).

  1. Acceda al servidor de NetWitness Suite mediante el protocolo SSH.
  2. En la carpeta /opt/rsa/soc/reporting-engine/plugins/, respalde el siguiente archivo jar:
    hive-jdbc-0.12.0-with-full-dependencies.jar o hive-jdbc-1.0.0-mapr-1508-standalone.jar
  3. Quite el siguiente archivo jar:
    hive-jdbc-0.12.0-with-full-dependencies.jar o hive-jdbc-1.0.0-mapr-1508-standalone.jar
  4. En la carpeta /opt/rsa/soc/reporting-engine/plugins, copie el siguiente archivo jar mediante WinSCP:
    hive-jdbc-1.2.1-with-full-dependencies.jar
  5. Reinicie el servicio Reporting Engine.
  6. Inicie sesión en la UI NetWitness Suite.
  7. Seleccione el servicio Reporting Engine y elija > Ver > Explorar.
  8. En hiveConfig, configure el parámetro EnableSmallSplitBasedSchemaLiteralCreation en verdadero.

Procedimiento

Realice los siguientes pasos para asociar un origen de datos de Warehouse a Reporting Engine:

  1. Seleccione AdminServicios.
  2. En la cuadrícula Servicios, seleccione el servicio Reporting Engine.
  3. Haga clic en > Ver > Configuración.
  4. Haga clic en la pestaña Orígenes.

    La vista Configuración del servicio se muestra con la pestaña Orígenes de Reporting Engine abierta.

  5. Haga clic en y seleccione Nuevo servicio.

    Se muestra el cuadro de diálogo Nuevo servicio.

  6. En el menú desplegable Tipo de fuente, seleccione Warehouse.
  7. En el menú desplegable Origen de Warehouse, seleccione el origen de datos de Warehouse. 
  8. En el campo Nombre, ingrese el nombre del origen de datos de Warehouse.
  9. En el campo Ruta de HDFS, ingrese la ruta raíz de HDFS en la cual Warehouse Connector escribe los datos.

    Por ejemplo:
    Si /saw es el punto de montaje local para HDFS que configuró durante el montaje de NFS en el dispositivo donde instaló el servicio Warehouse Connector para escritura en SAW y desea obtener más información, consulte Montar Warehouse en Warehouse Connector en la Guía de configuración de RSA Analytics Warehouse (MapR).

    Y si creó un directorio denominado Ionsaw01 bajo /saw y proporcionó la ruta de montaje local correspondiente, como /saw/Ionsaw01, la ruta raíz de HDFS correspondiente sería /Ionsaw01.

    El punto de montaje /saw implica a / como la ruta raíz para HDFS. Warehouse Connector escribe los datos /Ionsaw01 en HDFS. Si no hay datos disponibles en esta ruta, se muestra el siguiente error:

    “No data available. Check HDFS path”

    Asegúrese de que /lonsaw01/rsasoc/v1/sessions/meta contenga archivos avro de los metadatos antes de ejecutar la conexión de prueba.

  10. Seleccione la casilla de verificación Opciones avanzadas para usar ajustes avanzados y complete la Dirección URL de base de datos con la dirección URL de JDBC completa con el fin de conectar HiveServer2.

    Por ejemplo:
    Si Kerberos está habilitado en Hive, la dirección URL de JDBC será:

    jdbc:hive2://<host>:<port>/<db>;principal=<Kerberos serverprincipal>

    Si SSL está habilitado en Hive, la dirección URL de JDBC será:

    jdbc:hive2://<host>:<port>/<db>;ssl=true;sslTrustStore=<trust_store_path>;trustStorePassword=<trust_store_password>

    Para obtener más información sobre los clientes del servidor HIVE, consulte https://cwiki.apache.org/confluence/display/Hive/HiveServer2+Clients.

  11. Si no utiliza los ajustes avanzados, ingrese los valores para el Host y el Puerto.

    • En el campo Host, ingrese la dirección IP del host en el cual está alojado HiveServer2.

      Nota: Puede usar la dirección IP virtual de Mapr solo si HiveServer2 se ejecuta en todos los nodos del clúster.

    • En el campo Puerto, ingrese el puerto de HiveServer2 del origen de datos de Warehouse. De manera predeterminada, el número de puerto es 10000.
  12. En los campos Nombre de usuario Contraseña, ingrese las credenciales de JDBC que se usan para acceder a HiveServer2.

    Nota: también puede utilizar el modo de autenticación LDAP mediante Active Directory. Para obtener instrucciones sobre la habilitación del modo de autenticación LDAP, consulte Habilitar la autenticación LDAP.

  13. Para ejecutar informes de Warehouse Analytics, consulte Configuración del origen de datos de Warehouse para Reporting en Configuración del origen de datos de Warehouse para Reporting.
  14. Habilite la autenticación Kerberos: consulte Configuración del origen de datos de Warehouse para Reporting en Configuración del origen de datos de Warehouse para Reporting.
  15. Si desea configurar el origen de datos de Warehouse que agregó como el origen predeterminado para Reporting Engine, selecciónelo y haga clic en .

Resultado

Activar trabajos

Para ejecutar informes de Warehouse Analytics, realice este procedimiento.

  1. Seleccione la casilla de verificación Activar trabajos.

    Configuración de Pivotal Warehouse

  2. Complete los campos de la siguiente manera:

    1. Seleccione el tipo de HDFS en el menú desplegable Tipo de HDFS.

      • Si selecciona el tipo Horton Works, ingrese la siguiente información:

                                                           
        CampoDescripción

        Nombre de usuario de HDFS

        Ingrese el nombre de usuario que debe presentar Reporting Engine cuando se conecte a Horton Works. Para clústeres de Horton Works DCA estándar, este debe ser “gpadmin”.
        Nombre de HDFSIngrese la dirección URL para acceder a HDFS. Por ejemplo, hdfs://hdm1.gphd.local:8020.

        Quórum HBase Zookeeper

        Ingrese la lista de nombres de host separados por comas en los cuales se ejecutan los servidores de ZooKeeper.
        Puerto HBase ZookeeperIngrese el número de puerto para los servidores de ZooKeeper. El puerto predeterminado es 2181.

        Prefijo de ruta de entrada

        Ingrese la ruta de salida de Warehouse Connector (/sftp/rsasoc/v1/sessions/data/<year>/<month>/<date>/<hour>) hasta el directorio year.

        Por ejemplo, /sftp/rsasoc/v1/sessions/data/.

        Prefijo de ruta de salidaIngrese la ubicación donde se almacenan los resultados de los trabajos de ciencia de datos en HDFS.

        Nombre de host de Yarn

        Ingrese el nombre de host de yarn resource-manager de Hadoop en el clúster de DCA.

        Por ejemplo, hdm3.gphd.local.

        Servidor de historial de trabajos

        Ingrese la dirección de job-history-server de Hadoop en el clúster de DCA.

        Por ejemplo, hdm3.gphd.local:10020.

        Directorio de staging de Yarn

        Ingrese el directorio de almacenamiento provisional para YARN en el clúster de DCA.

        Por ejemplo, /user.

        Proxy de Socks

        Si se usa el clúster de DCA estándar, la mayoría de los servicios de Hadoop se ejecutarán en una red privada local a la cual no se puede acceder desde Reporting Engine. A continuación, debe ejecutar un proxy SOCKS en el clúster de DCA y permitir el acceso desde fuera del clúster.

        Por ejemplo, mdw.netwitness.local:1080.

      • Si selecciona el tipo de HDFS MapR, ingrese la siguiente información:

                                                       
        CampoDescripción
        Nombre de host de MapR

        El usuario puede completar la dirección IP pública de cualquiera de los hosts de Warehouse de MapR.

        Usuario de host de MapRIngrese un nombre de usuario de UNIX en el host especificado que tenga acceso para ejecutar trabajos map-reduce en el clúster. El valor predeterminado es “mapr”.
        Contraseña de host de MapR(Opcional) Para configurar la autenticación sin contraseña, copie la clave pública del usuario “rsasoc” desde /home/rsasoc/.ssh/id_rsa.pub al archivo “authorized_keys” del host de Warehouse que se encuentra en /home/mapr/.ssh/authorized_keys, en el supuesto de que “mapr” es el usuario de UNIX remoto.
        Directorio de trabajo de host de MapR

        Ingrese una ruta para la cual el usuario de UNIX especificado (por ejemplo, “mapr”) tenga acceso de escritura.

        Nota: Reporting Engine usa el directorio de trabajo para realizar una copia remota de los archivos jar de Warehouse Analytics y dar inicio a los trabajos desde el nombre de host dado. No debe utilizar “/tmp” para evitar llenar el espacio temporal del sistema.Reporting Engine administrará el directorio de trabajo dado de manera remota.

        Nombre de HDFSIngrese la dirección URL para acceder a HDFS. Por ejemplo, para acceder a un clúster específico, maprfs:/mapr/<cluster-name>.
        Puerto HBase ZookeeperIngrese el número de puerto para los servidores de ZooKeeper. El puerto predeterminado es 5181.

        Prefijo de ruta de entrada

        Ingrese la ruta de salida (/rsasoc/v1/sessions/data/<year>/<month>/<date>/<hour>) hasta el directorio year.

        Por ejemplo, /rsasoc/v1/sessions/data/.

        Nombre de archivo de entradaIngrese el filtro del nombre de archivo para los archivos avro. Por ejemplo, sessions-warehouseconnector.
        Prefijo de ruta de salidaIngrese la ubicación donde se almacenan los resultados de los trabajos de ciencia de datos en HDFS.
    2. Seleccione la infraestructura de MapReduce según el tipo de HDFS.

      Nota: Para MapR como tipo de HDFS, seleccione Clásica como la infraestructura de MapReduce. Para Pivotal como tipo de HDFS, seleccione Yarn como la infraestructura de MapReduce.

A continuación, habilite la autenticación Kerberos.

Habilitar la autenticación Kerberos

  1. Seleccione la casilla de verificación Autenticación Kerberos si Warehouse tiene un servidor Hive activado para Kerberos.

  2. Complete los campos de la siguiente manera:

                           
    CampoDescripción

    Principal del servidor

    Ingrese el principio que usa el servidor Hive para autenticarse en el servidor del centro de distribución de claves (KDC) de Kerberos.

    Principal de usuarioIngrese el principio que usa el cliente de JDBC de Hive para autenticarse en el servidor de KDC con el fin de conectarse al servidor de Hive. Por ejemplo, gpadmin@EXAMPLE.COM.

    Archivo keytab de Kerberos

    Vea la ubicación del archivo keytab de Kerberos configurada en el panel Configuración de Hive en la pestaña General de Reporting Engine.

    Nota: Reporting Engine solo es compatible con los orígenes de datos configurados con las mismas credenciales de Kerberos, como el principal del usuario y el archivo keytab.

  3. Haga clic en Probar conexión para probar la conexión con los valores ingresados.
  4. Haga clic en Guardar.

    El origen de datos de Warehouse agregado se muestra en la pestaña Orígenes de Reporting Engine.

  5. Haga clic en  Servicios disponibles.

    Se muestra el cuadro de diálogo Servicios disponibles.

  6. En el cuadro de diálogo Servicios disponibles, seleccione el servicio que desea agregar como origen de datos en Reporting Engine y haga clic en Aceptar.

    NetWitness Suite agrega esto como un origen de datos disponible para informes y alertas relacionados con este Reporting Engine.

    Configuración de Warehouse en la pestaña Origen de Reporting Engine.

    Nota: Este paso es importante solo para un modelo no confiable.

Definir un origen de datos como el origen predeterminado

Para definir un origen de datos como el origen de datos predeterminado cuando cree informes y alertas:

  1. En el menú principal, seleccione Dashboard > Administration > Servicios.
  2. En la cuadrícula Servicios, seleccione un servicio Reporting Engine.
  3. Seleccione > Ver > Configuración.

    Se muestra la vista Configuración de servicios de Reporting Engine.

  4. Seleccione la pestaña Orígenes.

    Se muestra la vista Configuración de servicios con la pestaña Orígenes de Reporting Engine abierta.

  5. Seleccione el origen que desea establecer como predeterminado (por ejemplo, Broker).
  6. Haga clic en la casilla de verificación Establecer valor predeterminado.

    NetWitness Suite configura este origen de datos como predeterminado cuando crea informes y alertas relacionados con este Reporting Engine.

NetWitness Suite agrega Warehouse como un origen de datos disponible para informes y alertas relacionados con este Reporting Engine.

You are here
Table of Contents > Reporting Engine: Agregar Warehouse como un origen de datos

Attachments

    Outcomes