MapR : Configurer MapR

Document created by RSA Information Design and Development on Apr 26, 2018
Version 1Show Document
  • View in full screen mode
 

Vous pouvez configurer MapR à l’aide de la procédure suivante :

Générer et mettre à jour la valeur UUID par défaut des appliances

Vous devez générer et mettre à jour manuellement l'UUID (Universally Unique Identifier) par défaut sur les appliances du cluster. L'UUID doit être unique pour l'appliance du cluster.

Pour générer et mettre à jour l'UUID par défaut de l'appliance :

  1. Connectez-vous à l'appliance en tant qu'utilisateur racine.
  2. Générez la valeur UUID et copiez-la dans les fichiers adéquats à l’aide des commandes suivantes :
    • /opt/mapr/server/mruuidgen > /opt/mapr/hostid
    • cp /opt/mapr/hostid /opt/mapr/server/hostid.xxxxx
    Où xxxxx désigne le numéro à 5 chiffres attribué aléatoirement au fichier existant.

    Remarque : Vérifiez /opt/mapr/server à la recherche du nom complet de ce fichier.

  3. Redémarrez l'appliance et saisissez la commande suivante :
    reboot

Mettre à jour le fichier de modèle de configuration

Vous devez mettre à jour le fichier du modèle de configuration de l'appliance RSA NetWitness Warehouse. Le fichier de modèle de configuration dans l'appliance RSA NetWitness Warehouse doit inclure les paramètres suivants :

  • nœuds
  • Internalnetworks
  • clustername
  • disks

Par défaut, un modèle de configuration est fourni avec l’appliance RSA NetWitness Warehouse et se trouve sur l’appliance RSA NetWitness Warehouse à l’emplacement /opt/rsa/saw/install.

Conditions préalables

Vérifiez que vous avez validé le volume sur le serveur pour identifier l'espace disque disponible pour Warehouse afin de stocker des données. L'espace de disque total du volume supplémentaire est considéré en tant qu'unité unique par le HDFS. Dans Warehouse, les fichiers AVRO sont stockés dans cet espace disque.

Remarque : Le serveur contient des volumes supplémentaires de taille identique autres que le volume du système d'exploitation.

Pour identifier un volume libre, saisissez la commande fdisk -l | grep /dev/s |sort dans le nœud Warehouse. Vous obtiendrez la liste des disques qui ne sont pas partitionnés pour l'utilisation. Vous devez répertorier les disques identifiés dans le fichier de modèle de configuration afin que Warehouse utilise cet espace pour Hadoop Cluster.

Mettre à jour le fichier du modèle de configuration de l'appliance RSA NetWitness Warehouse.

  1. Connectez-vous à l'appliance en tant qu'utilisateur root.
  2. Accédez à /opt/rsa/saw/install et saisissez la commande suivante :

    cd /opt/rsa/saw/install

  3. Créez une copie du modèle de configuration et saisissez la commande suivante :

    cp conf.template conf.template-<name>

    <name> est le nom personnalisé du fichier de modèle de configuration.

  4. Modifiez le fichier de modèle de configuration et saisissez la commande suivante :

    vi conf.template-<name>

                               
    ParamètreDescription
    NœudsRépertoriez les adresses IP des appliances dans le cluster séparées par des espaces. Toutes les appliances du cluster doivent être répertoriées dans le même ordre dans chaque fichier de configuration pour chaque appliance RSA NetWitness Warehouse.
    Internalnetworks
    Répertoriez les adresses réseau au format CIDR séparées par des espaces. La communication du cluster d'appliance Warehouse est limitée aux adresses de réseau fournies.

    Remarque : RSA vous recommande de ne pas laisser ce paramètre vide.

    ClusternameNom du cluster. Le nom du cluster est utilisé pour identifier le partage Network File System (NFS).
    DisquesAffiche la liste des disques reconnus par le système d'exploitation, qui seront formatés au format HDFS pour Warehouse lorsque ce script de configuration est exécuté.

    La figure ci-dessous affiche un exemple de fichier de modèle de configuration :

    exemple de fichier de modèle de configuration

  5. Exécutez le fichier de modèle de configuration à l’aide de la commande suivante :

    ./configure.py conf.template-<name>

  6. Redémarrez l'appliance et saisissez la commande suivante :

    reboot

Mettre à niveau le cluster Warehouse

Vous devez mettre à niveau le cluster Warehouse après la mise à jour du fichier du modèle de configuration et le redémarrage de l'appliance RSA NetWitness Warehouse.

Pour mettre à niveau le cluster Warehouse

Vous devez ouvrir manuellement le port 10000 de Hiveserver, qui n'est pas ouvert par défaut :

  1. Obtenez le numéro de la ligne dans laquelle l'instruction REJECT apparaît dans la iptable.
  2. Assurez-vous que le service Iptables est en cours d'exécution et saisissez la commande suivante :

    NUM=$(iptables -L INPUT -n --line-numbers |grep 'reject-with' |awk ' {print $1}')

    Remarque : Les instructions ACCEPT qui suivent l'instruction REJECT dans Iptables ne seront pas prises en compte. Vous pouvez intégrer le numéro de ligne de l'instruction REJECT dans la commande pour faire en sorte que les instructions ACCEPT précèdent l'instruction REJECT.

  3. Ajoutez l'exception de pare-feu pour le port 10000 à Iptables. Saisissez la commande suivante :

    iptables -I INPUT $NUM -m state --state NEW -p tcp --dport 10000 -j ACCEPT

  4. Enregistrez Iptables. Saisissez la commande suivante :

    /etc/init.d/iptables save

  5. Redémarrez Iptables. Saisissez la commande suivante :

    /etc/init.d/iptables restart

  6. Vérifiez si les exceptions de pare-feu des ports sont ajoutées. Saisissez la commande suivante :

    Service iptables status | grep 10000

    La sortie suivante doit s’afficher :

    ACCEPT tcp -- 0.0.0.0/0 0.0.0.0/0 state NEW tcp dpt:10000

Installer le fichier de licence Warehouse

Vous devez installer manuellement le fichier de licence Warehouse sur l'appliance Warehouse. Si vous avez un cluster d'appliances Warehouse, vous devez installer le fichier de licence sur le premier appareil Warehouse dans le cluster.

Conditions préalables

Assurez-vous d'avoir :

  • Vous avez obtenu le fichier de licence Warehouse.
  • Vous avez copié le fichier de licence sur /root/ sur la première appliance Warehouse dans le cluster à l'aide d'une clé USB ou via SCP.

Pour installer le fichier de licence Warehouse :

  1. Connectez-vous à l'appliance en tant qu'utilisateur racine.
  2. Pour installer le fichier de licence, saisissez la commande suivante :

    maprcli license add –is_file true –license <license_filename>

    <license_filename> est le nom du fichier de licence RSA NetWitness Warehouse.
    Le fichier de licence est installé sans aucun message de sortie. Si vous avez inclus une gamme de réseau dans le paramètre internalnetworks dans le fichier du modèle de configuration, un message d'avertissement apparaît suggérant que Warehouse est configuré uniquement pour communiquer avec le réseau saisi dans le fichier du modèle de configuration. Vous pouvez ignorer cet avertissement, car il ne s'agit pas d'un problème fonctionnel.

  3. Confirmez l'installation du fichier de licence à l’aide de la commande suivante :

    maprcli license list

    Des messages de sortie s'affichent sur l'écran de la console. Les deux dernières lignes du message de sortie doivent être similaires à l'exemple suivant :

    hash: "b8xO1flW8EMNSqq7zztn8D2BXnQ="
    3 May 14, 2013

  4. Pour afficher la liste des répertoires, exécutez la commande suivante :

    hadoop fs -ls /

Générer l'adresse IP virtuelle pour l'appliance principale

Générez une adresse IP virtuelle pour l'appliance principale RSA NetWitness Warehouse (Warehouse).

Conditions préalables

Assurez-vous de prendre note des adresses MAC de toutes les appliances Warehouse dans le cluster. Utilisez la commande suivante sur l'appliance pour afficher son adresse MAC :

ifconfig <interface> | grep HWaddr

<interface> est l'interface réseau.

Pour générer une adresse IP virtuelle de l'appliance principale Warehouse :

  1. Connectez-vous à l'appliance principale en tant qu'utilisateur root.
  2. Créez l'adresse IP virtuelle. Saisissez la commande suivante :
    maprcli virtualip add -virtualip <VIP_address> -netmask <netmask> -macs <mac_node1> <mac_node2> <mac_node3> ……< mac_node n>
    où :
    • <VIP_address> est l'adresse IP virtuelle de l'appliance Warehouse principale.
    • <netmask> est l'adresse du masque réseau de l'appliance Warehouse principale.
    • <mac_node1> est l'adresse MAC du premier nœud dans le cluster Warehouse.
    • <mac_node2> est l'adresse MAC du second nœud dans le cluster Warehouse.
    Par exemple, si l'adresse MAC du nœud 1 est 01:Z1:1X:00:20:Y1 et le nœud 2 est 32:Y2:4Z:40:10:X3 et l'adresse IP est 192.168.100.10, saisissez la commande comme suit :
    maprcli virtualip add -virtualip 192.168.100.10 -netmask <netmask> -macs 01:Z1:1X:00:20:Y1 32:Y2:4Z:40:10:X3 
  3. Vérifiez l’adresse IP virtuelle à l’aide de la commande suivante :
    maprcli virtualip list
  4. Pour ajouter ou supprimer des adresses IP virtuelles, vous pouvez utiliser la ligne de commande ou le système de contrôle MapR. Pour plus d’informations, reportez-vous aux sections « Modifier et supprimer des adresses IP virtuelles (ligne de commande) » et « Ajouter et supprimer une adresse IP virtuelle (interface utilisateur MapR) » dans Gestion du cluster MapR.

Configurer d’autres services NetWitness Suite

Configurer les autres services NetWitness Suite de RSA NetWitness Warehouse (MapR). 

  1. Si vous n'utilisez pas VRM (Vulnerability Response Management), désactivez les services Hbase de manière à renvoyer la mémoire configurée et la rendre disponible pour une utilisation ailleurs dans le cluster. Pour arrêter les services Hbase, vous pouvez utiliser la ligne de commande ou MapR Control System. Pour plus d’informations, reportez-vous à la section Arrêter les services Hbase via la ligne de commande et Arrêter les services Hbase via MapR Control System.
  2. Ajouter des sources de données Warehouse au Reporting Engine. Pour prendre connaissance de la procédure précise, reportez-vous à la section « Ajouter Warehouse comme source de données au Reporting Engine » dans le Guide de configuration de Reporting Engine.

Arrêter les services Hbase via la ligne de commande

Cette section présente les étapes permettant d'arrêter les services Hbase via la ligne de commande. Si vous n'utilisez pas VRM (Vulnerability Response Management), arrêtez les services Hbase pour renvoyer la mémoire configurée afin qu'elle soit utilisée ailleurs dans le cluster. 

Pour arrêter les services Hbase via la ligne de commande :

  1. Pour arrêter le service Hbase RegionServer sur toutes les appliances, saisissez la commande suivante :
    maprcli node services -hbregionserver stop -filter "[hn==*]"
  2. Pour arrêter le service Hbase RegionServer sur un nœud spécifique, saisissez la commande suivante :
    maprcli node services -hbregionserver stop -filter "[hn==<Hostname>]"
    <Hostname> est le nom d'hôte du nœud spécifique.
  3. Pour arrêter le service Hbase Master sur toutes les appliances, saisissez la commande suivante :
    maprcli node services -hbmaster stop -filter "[hn==*]"
  4. Pour arrêter le service Hbase Master sur un nœud spécifique, saisissez la commande suivante :
    maprcli node services -hbmaster stop -filter "[hn==<Hostname>]"
    <Hostname> est le nom d'hôte du nœud spécifique.

Résumé des commandes Stop et Start des services Hbase

Les tableaux suivants récapitulent les commandes utilisées pour arrêter et démarrer les services Hbase des services HBase RegionServer et HBase Master.

                         
HBase RegionServerCommande à exécuter via la ligne de commande
Arrêter sur toutes les appliances maprcli node services -hbregionserver stop -filter "[hn==*]"
Démarrer sur toutes les appliancesmaprcli node services -hbregionserver start -filter "[hn==*]"
Arrêter sur un nœud spécifiquemaprcli node services -hbregionserver stop -filter "[hn==<Hostname>]"
Démarrer sur un nœud spécifiquemaprcli node services -hbregionserver start -filter "[hn==<Hostname>]"

 

                         
HBase MasterCommande à exécuter via la ligne de commande
Arrêter sur toutes les appliancesmaprcli node services -hbmaster stop -filter "[hn==*]"
Démarrer sur toutes les appliancesmaprcli node services -hbmaster start -filter "[hn==*]"
Arrêter sur un nœud spécifiquemaprcli node services -hbmaster stop -filter "[hn==<Hostname>]"
Démarrer sur un nœud spécifiquemaprcli node services -hbmaster start -filter "[hn==<Hostname>]"

<Hostname> est le nom d'hôte du nœud spécifique.

Arrêter les services Hbase via MapR Control System

Cette section présente les étapes permettant d'arrêter les services Hbase via MapR Control System. Si vous n'utilisez pas VRM (Vulnerability Response Management), arrêtez les services Hbase pour renvoyer la mémoire configurée afin qu'elle soit utilisée ailleurs dans le cluster. 

  1. Connectez-vous à l'interface utilisateur MapR Control System. Pour plus d’informations, consultez la section « Accéder à l'interface utilisateur MapR Control System pour l'administration du cluster » dans la section Gestion du cluster MapR.
  2. Pour arrêter les services HBase Master, dans la section Services du tableau de bord, cliquez sur le nombre dans la colonne Actv correspondant au service HBase Master. C'est le nombre de services actifs pour le service HBase Master.
    Le nombre de services actifs pour le service HBase Master
  3. Sous l'onglet Nœuds du cluster, cliquez sur Gérer les services.
    Gérer les services

    La boîte de dialogue Gérer les services de nœuds s'affiche.
    Gérer les services de nœuds
  4. Dans le champ HBase Master, sélectionnez Arrêter.
    Arrêter Hbase master
  5. Cliquez sur Modifier <nombre_de_nœuds> Nœuds.
    Où <nombre_de_nœuds> est le nombre de nœuds actifs sélectionnés.
    Par exemple, cliquez sur Modifier 3 nœuds.
    Modifier le nombre de nœuds
    Le service Hbase Master doit être à l'état arrêté sur les nœuds sélectionnés.
  6. Pour arrêter les services Hbase RegionServer, répétez les étapes 2 à 5 pour les services Hbase RegionServer.
You are here
Table of Contents > Configurer MapR

Attachments

    Outcomes