Reporting Engine : Étape 3. Configurer des sources de données

Document created by RSA Information Design and Development on Apr 24, 2018
Version 1Show Document
  • View in full screen mode
 

Une fois que vous avez configuré le Reporting Engine, vous devez ajouter les sources de données à Reporting Engine afin de pouvoir extraire les données et générer Rapports et Alertes. La procédure d’ajout des sources de données NWDB et RÉPONDRE est la même. Toutefois, la procédure d’ajout de Warehouse comme source de données est différente. En tant qu’administrateur, vous devez ajouter et configurer les sources de données au Reporting Engine dans NetWitness Suite, avant de pouvoir utiliser les données pour générer Rapports ou Alertes à l’aide du service Reporting Engine.

  • Ajouter une source de données au Reporting Engine
  • Définir une source de données comme source par défaut

Ajouter une source de données au Reporting Engine

La procédure suivante explique comment ajouter NWDB comme source de données. Vous pouvez utiliser la même procédure si vous souhaitez ajouter des sources de données Respond au Reporting Engine.

Condition préalable

  • Le Reporting Engine est ajouté et configuré dans NetWitness Suite.
  • Les sources de données sont ajoutées et configurées dans NetWitness Suite

Pour ajouter une source de données NWDB au Reporting Engine :

  1. Sélectionnez ADMIN > Services.
  2. Dans Services, sélectionnez un service Reporting Engine.
  3. Cliquez sur > Vue > Config.

    La vue Configuration des services du Reporting Engine s'affiche.

  4. Sous l’onglet Sources, cliquez sur  > Nouveau service.

    La boîte de dialogue Nouveau service s'affiche.

Ajouter Warehouse comme source de données au Reporting Engine

Pour ajouter Warehouse comme source de données au Reporting Engine, vous devez configurer les éléments suivants :

  • Configuration basique
  • Activer des tâches
  • Activer l'authentification Kerberos

Condition préalable

Vérifiez que :

  • Le serveur Hive est en cours d'exécution sur tous les nœuds Warehouse. Vous pouvez utiliser la commande suivante pour vérifier l’état du serveur hive :
    status hive2 (MapR deployments)
    service hive-server2 status (Horton Works deployments)
  • Warehouse Connector est configuré pour écrire des données dans les déploiements de Warehouse.
  • Si l'authentification Kerberos est activée pour HiveServer2, vérifiez que le fichier de table de clés est copié dans le répertoire /home/rsasoc/rsa/soc/reporting-engine/conf/ de l'hôte Reporting Engine.

    Remarque : Vérifiez que le rôle d'utilisateur rsasoc dispose d'autorisations de lecture en vue de lire le fichier de table de clés. Pour plus d'informations, reportez-vous à la rubrique Configurer les autorisations d'accès aux sources de données.

    Veillez également à mettre à jour le chemin d'accès au fichier de table de clés indiqué dans le paramètre Fichier de table de clés Kerberos figurant dans la vue Configuration des services du Reporting Engine. Pour plus d'informations, consultez Onglet General.

Configuration basique

Pour associer une source de données au Reporting Engine, procédez comme suit :

  1. Dans le Menu principal, sélectionnez ADMIN > Services.
  2. Dans la grille Services, sélectionnez un service Reporting Engine.
  3. Cliquez sur   > Vue > Config.

    La vue Configuration des services du Reporting Engine s'affiche.

  4. Sous l’onglet Sources, cliquez sur  > Nouveau service.

    La boîte de dialogue Nouveau service s'affiche.

  5. Renseignez les champs comme suit :

    1. Dans le menu déroulant Type de source, sélectionnez Warehouse.
    2. Dans le menu déroulant Source Warehouse, sélectionnez la source de données Warehouse. 
    3. Dans le champ Nom, saisissez le nom de la source de données Warehouse.

      Remarque : Veillez à ne pas utiliser de caractères spéciaux comme &,' , ", < et > en ajoutant la source de données. Si vous utilisez des caractères spéciaux dans le nom du champ, la mise à jour du Reporting Engine échoue.

    4. Dans le champ Chemin HDFS, indiquez le chemin d'accès racine HDFS sur lequel le Warehouse Connector écrit les données.

      Par exemple :
      Supposons que /saw correspond au point de montage local de HDFS que vous avez configuré lors du montage de NFS sur le périphérique sur lequel vous avez installé le service Warehouse Connector en vue d'écrire des données sur SAW. Pour plus d'informations, consultez la rubrique Mount the Warehouse on the Warehouse Connector dans le Guide de configuration de RSA Analytics Warehouse (MapR).

      Si vous avez créé un répertoire nommé Ionsaw01 sous /saw et défini le chemin de montage local correspondant sur /saw/Ionsaw01, le chemin d'accès racine HDFS correspond à /Ionsaw01.

      Le point de montage /saw suppose que / est le chemin racine de HDFS. Le service Warehouse Connector écrit les données/Ionsaw01 dans HDFS. Si aucune donnée n'est disponible dans ce chemin, le message d'erreur suivant s'affiche :

      “No data available. Check HDFS path”

      Vérifiez que /lonsaw01/rsasoc/v1/sessions/meta contient les fichiers avro des métadonnées avant d'effectuer le test de connexion.

    5. Activez la case à cocher Avancés pour utiliser les paramètres avancés, puis renseignez le champ URL de la base de données avec l'URL JDBC complète pour vous connecter au serveur HiveServer2.

      Par exemple :
      Si Kerberos est activé en mode Hive, l'URL JDBC sera :

      jdbc:hive2://<host>:<port>/<db>;principal=<Kerberos serverprincipal>

      Si SSL est activé en mode Hive, l'URL JDBC sera :

      jdbc:hive2://<host>:<port>/<db>;ssl=true;sslTrustStore=<trust_store_path>;trustStorePassword=<trust_store_password>

      Pour plus d'informations sur les clients du serveur HIVE, consultez https://cwiki.apache.org/confluence/display/Hive/HiveServer2+Clients.

    6. Si vous n'utilisez pas les paramètres avancés, indiquez les valeurs pour l'Hôte et le Port.

      • Dans le champ Hôte, saisissez l'adresse IP de l'hôte sur lequel HiveServer2 est hébergé.

        Remarque : Vous pouvez utiliser l'adresse IP virtuelle de Mapr uniquement si HiveServer2 est exécuté sur tous les nœuds du cluster.

      • Dans le champ Port, saisissez le port HiveServer2 de la source de données Warehouse. Le numéro de port par défaut est 10000.
    7. Dans les champs Nom d'utilisateur et Mot de passe, saisissez les informations d'identification JDBC permettant d'accéder au serveur HiveServer2.

      Remarque : Vous pouvez également utiliser le mode d'authentification LDAP via Active Directory. Pour plus d'instructions sur l'activation du mode d'authentification LDAP, consultez la rubrique Activer l'authentification LDAP.

Passez à la section suivante, Activer des tâches, si vous souhaitez exécuter des rapports Warehouse Analytics. Si vous ne souhaitez pas exécuter des rapports Warehouse Analytics, passez à Activer l’authentification Kerberos.

Activer des tâches

Pour exécuter des rapports Warehouse Analytics, effectuez cette procédure.

  1. Cochez la case Activer des tâches.

    Configuration de Warehouse Pivotal

  2. Renseignez les champs comme suit :

    1. Dans le menu déroulant Type de HDFS, sélectionnez le type de HDFS.

      • Si vous sélectionnez le type Horton Works, saisissez les informations suivantes :

                                                           
        ChampDescription

        Nom d'utilisateur HDFS

        Saisissez le nom d’utilisateur que le Reporting Engine doit demander lors de la connexion à Horton Works. Pour les clusters Horton Works DCA standard, il s'agit de « gpadmin ».
        Nom HDFSSaisissez l’URL pour accéder à HDFS Par exemple, hdfs://hdm1.gphd.local:8020.

        Quorum Zookeeper HBase

        Saisissez la liste des noms d'hôte séparés par une virgule sur lesquels les serveurs ZooKeeper s'exécutent.
        Port Zookeeper HBaseSaisissez le numéro de port des serveurs ZooKeeper. Le port par défaut est 2181.

        Préfixe de chemin d'entrée

        Saisissez le chemin de sortie de Warehouse Connector (/sftp/rsasoc/v1/sessions/data/<year>/<month>/<date>/<hour>) jusqu'au répertoire year.

        Par exemple, /sftp/rsasoc/v1/sessions/data/.

        Préfixe de chemin de sortieIndiquez l'emplacement de stockage des résultats des tâches Data Science sur HDFS.

        Nom d'hôte Yarn

        Indiquez le nom d'hôte resource-manager Hadoop yarn sur le cluster DCA.

        Par exemple, hdm3.gphd.local.

        Serveur d'historique des tâches

        Indiquez l'adresse job-history-server Hadoop sur le cluster DCA.

        Par exemple, hdm3.gphd.local:10020.

        Répertoire de reclassement Yarn

        Indiquez le répertoire de reclassement pour YARN sur le cluster DCA.

        Par exemple, /user.

        Proxy Socks

        Si vous utilisez le cluster DCA standard, la plupart des services Hadoop s'exécutent sur un réseau privé local qui n'est pas accessible à partir de Reporting Engine. Vous devez alors exécuter un proxy socks dans le cluster DCA et autoriser l'accès de l'extérieur vers le cluster.

        Par exemple, mdw.netwitness.local:1080.

      • Si vous sélectionnez le type HDFS MapR, saisissez les informations suivantes :

                                                       
        ChampDescription
        Nom d'hôte MapR

        Indiquez éventuellement l'adresse IP publique d'un des hôtes Warehouse MapR.

        Utilisateur hôte MapRIndiquez un nom d'utilisateur UNIX sur l'hôte qui bénéficie d'un accès pour exécuter des tâches map-reduce sur le cluster. La valeur par défaut est « mapr ».
        Mot de passe hôte MapR(Facultatif) Pour autoriser l'authentification sans mot de passe, copiez la clé publique de l'utilisateur « rsasoc » du paramètre /home/rsasoc/.ssh/id_rsa.pub dans le fichier « authorized_keys » de l'hôte Warehouse situé dans /home/mapr/.ssh/authorized_keys, en partant du principe que « mapr ╗ correspond à l'utilisateur UNIX distant.
        Rép travail hôte MapR

        Saisissez le chemin d'accès à un emplacement pour lequel l'utilisateur UNIX donné (« mapr », par exemple) dispose d'un accès en écriture.

        Remarque : Le répertoire de travail est utilisé par le Reporting Engine pour copier à distance les fichiers jar de Warehouse Analytics et lancer la tâche à partir du nom d'hôte donné. Il ne faut en aucun cas utiliser « /tmp » car cela saturerait l'espace temporaire du système. Le répertoire de travail sera géré à distance par le Reporting Engine.

        Nom HDFSSaisissez l’URL pour accéder à HDFS Par exemple, pour accéder à un cluster spécifique, maprfs:/mapr/<nom-cluster>.
        Port Zookeeper HBaseSaisissez le numéro de port des serveurs ZooKeeper. Le port par défaut est 5181.

        Préfixe de chemin d'entrée

        Saisissez le chemin de sortie (/rsasoc/v1/sessions/data/<year>/<month>/<date>/<hour>) jusqu'au répertoire year.

        Par exemple, /rsasoc/v1/sessions/data/.

        Nom de fichier d'entréesaisissez le filtre de nom de fichier pour les fichiers avro. Par exemple, sessions-warehouseconnector.
        Préfixe de chemin de sortieIndiquez l'emplacement de stockage des résultats des tâches Data Science sur HDFS.
    2. Sélectionnez le framework MapReduce en fonction du type HDFS.

      Remarque : Pour le type HDFS MapR, sélectionnez Classic pour le framework MapReduce. Pour le type HDFS Horton Works, sélectionnez Yarn pour le framework MapReduce.

Ensuite, activez l'authentification Kerberos.

Activer l'authentification Kerberos

  1. Cochez la case Authentification Kerberos, si le Warehouse dispose d'un serveur sur lequel Kerberos est activé.

    Activer l'authentification Kerberos

  2. Renseignez les champs comme suit :

                           
    ChampDescription

    Entité de sécurité du serveur

    Indiquez l'entité de sécurité que le serveur Hive utilise afin de procéder à l'authentification auprès du centre de distribution de clés (KDC) Kerberos.

    Entité de sécurité de l'utilisateurSaisissez l'entité de sécurité que le client JDBC Hive utilise pour s'authentifier auprès du serveur KDC et se connecter au serveur Hive. Par exemple, gpadmin@EXAMPLE.COM.

    Fichier de table de clés Kerberos

    Affichez le chemin d'accès au fichier de table de clés Kerberos configuré dans le panneau Configuration de Hive dans la rubrique Onglet Général du Reporting Engine.

    Remarque : Le Reporting Engine ne prend en charge que les sources de données configurées avec les mêmes informations d'identification Kerberos, comme l'entité de sécurité de l'utilisateur et le fichier de table de clés.

  3. Cliquez sur Tester la connexion pour réaliser un test avec les valeurs saisies.
  4. Cliquez sur Enregistrer.

    La source de données Warehouse ajoutée s'affiche sous l'onglet Sources du Reporting Engine.

  5. Cliquez sur  Services disponibles.

    La boîte de dialogue Services disponibles s'affiche.

    Liste des services disponibles

  6. Dans la boîte de dialogue Services disponibles, sélectionnez le service que vous souhaitez ajouter comme source de données au Reporting Engine, puis cliquez sur OK.

    NetWitness Suite ajoute la source de données disponible lors de la génération de rapports et d'alertes dans le cadre de ce Reporting Engine.

    Configuration de Warehouse dans l’onglet Sources du Reporting Engine.

    Remarque : Cette étape est requise uniquement lorsqu'on utilise un modèle non fiable.

Définir une source de données comme source par défaut

Pour définir une source de données comme source par défaut lors de la génération de rapports et d'alertes :

  1. Accédez à Tableau de bord  > Administration > Services.
  2. Dans la grille Services, sélectionnez un service Reporting Engine.
  3. Sélectionnez > Vue > Config.

    La vue Configuration des services du Reporting Engine s'affiche.

  4. Sélectionnez l'onglet Sources.

    La vue Configuration des services s'ouvre sur l'onglet Sources du Reporting Engine.

  5. Sélectionnez la source à définir par défaut (Broker, par exemple).
  6. Cochez la case Définir la valeur par défaut.

    NetWitness Suite est défini sur cette source de données par défaut lorsque vous créez des rapports et des alertes par rapport à ce Reporting Engine.

You are here
Table of Contents > Reporting Engine : Étape 3. Configurer des sources de données

Attachments

    Outcomes