MapR: Konfigurieren von MapR

Document created by RSA Information Design and Development on May 14, 2018
Version 1Show Document
  • View in full screen mode
 

Sie können MapR mit dem folgenden Verfahren konfigurieren:

Erzeugen und Aktualisieren der Standardeinstellung UUID in den Appliances

Sie müssen die UUID (Universally Unique Identifier) auf den Appliances im Cluster manuell erzeugen und aktualisieren. Die UUID muss für die Appliance im Cluster eindeutig sein.

So erzeugen und aktualisieren Sie die Standard-UUID in der Appliance:

  1. Melden Sie sich bei der Appliance als Root-Benutzer an.
  2. Erzeugen Sie die UUID und kopieren sie Sie in die richtigen Dateien: Verwenden Sie dazu die folgenden Befehle:
    • /opt/mapr/server/mruuidgen > /opt/mapr/hostid
    • cp /opt/mapr/hostid /opt/mapr/server/hostid.xxxxx
    Dabei verweist xxxxx auf die 5-stellige Nummer, die der bestehenden Datei willkürlich zugewiesen wird.

    Hinweis: Überprüfen Sie /opt/mapr/server auf den vollständigen Namen dieser Datei.

  3. Geben Sie zum Neustarten der Appliance folgenden Befehl ein:
    reboot

Aktualisieren der Konfigurationsvorlagedatei

Sie müssen die Konfigurationsvorlagendatei in der RSA NetWitness Warehouse-Appliance aktualisieren. Die Konfigurationsvorlagendatei in der RSA NetWitness Warehouse-Appliance muss die folgenden Parameter enthalten:

  • nodes
  • Internalnetworks
  • clustername
  • Festplatten

Standardmäßig wird eine Konfigurationsvorlage mit der RSA NetWitness Warehouse-Appliance bereitgestellt. Sie befindet sich auf der RSA NetWitness-Warehouse-Appliance unter /opt/rsa/saw/install.

Voraussetzungen

Achten Sie darauf, dass Sie das Volume im Server validiert haben, um den verfügbaren Laufwerksspeicher zu identifizieren, in dem Warehouse Daten speichern kann. Der gesamte Laufwerksspeicher des zusätzlichen Volume wird vom HDFS als ein einziges Laufwerk betrachtet. In Warehouse werden die AVRO-Dateien im Laufwerksspeicher gespeichert.

Hinweis: Der Server enthält neben dem Betriebssystem-Volume noch weitere Volumes mit identischer Größe.

Zum Überprüfen des freien Speicherplatzes geben Sie den Befehl fdisk -l | grep /dev/s |sort im Warehouse-Node ein. Sie erhalten eine Liste der Datenträger, die nicht zur Nutzung partitioniert sind. Die identifizierten Datenträger müssen Sie in der Konfigurationsvorlagendatei auflisten, damit Warehouse diesen Speicherplatz für das Hadoop-Cluster nutzt.

So aktualisieren Sie die Konfigurationsvorlagendatei in der RSA NetWitness Warehouse-Appliance:

  1. Melden Sie sich als Root-Benutzer bei der Appliance an.
  2. Navigieren Sie zu /opt/rsa/saw/install und geben Sie den folgenden Befehl ein:

    cd /opt/rsa/saw/install

  3. Geben Sie zum Erstellen einer Kopie der Konfigurationsvorlage folgenden Befehl ein:

    cp conf.template conf.template-<name>

    Dabei ist <name> der benutzerdefinierte Name der Konfigurationsvorlagendatei.

  4. Geben Sie zum Bearbeiten der Konfigurationsvorlagedatei folgenden Befehl ein:

    vi conf.template-<name>

                               
    ParameterBeschreibung
    NodesListet die IP-Adresse der Appliances im Cluster auf, getrennt durch Leerzeichen. Alle Appliances im Cluster müssen in allen Konfigurationsdateien für die jeweilige RSA NetWitness Warehouse-Appliance in der gleichen Reihenfolge aufgeführt werden.
    Internalnetworks
    Listet die Netzwerkadressen im CIDR-Format auf, getrennt durch Leerzeichen. Diese Warehouse-Appliance-Clusterkommunikation ist auf die angegebenen Netzwerkadressen beschränkt.

    Hinweis: RSA empfiehlt, dass Sie diesen Parameter nicht leer lassen.

    ClusternameName des Clusters. Anhand des Clusternamens wird das NFS-Share (Network File System, Netzwerkdateisystem) identifiziert.
    FestplattenZeigt die Liste der Festplatten an, die vom Betriebssystem erkannt werden; diese Datenträger werden in HDFS für das Warehouse formatiert, wenn dieses Konfigurationsskript ausgeführt wird.

    Die folgende Abbildung zeigt ein Beispiel für eine Konfigurationsvorlagendatei:

    Beispiel für eine Konfigurationsvorlagendatei

  5. Geben Sie zum Ausführen der Konfigurationsvorlagendatei den folgenden Befehl ein:

    ./configure.py conf.template-<name>

  6. Geben Sie zum Neustarten der Appliance den folgenden Befehl ein:

    reboot

Upgrade des Warehouse-Clusters durchführen

Nach der Aktualisierung der Konfigurationsvorlagendatei müssen Sie für das Warehouse-Cluster ein Upgrade durchführen und die RSA NetWitness Warehouse-Appliance neu starten.

Upgrade des Warehouse-Clusters

Sie müssen den HiveServer-Port 10000 manuell öffnen, da er standardmäßig nicht geöffnet ist:

  1. Suchen Sie nach der Nummer der Zeile, in der die REJECT-Anweisung in der Iptable angezeigt wird.
  2. Vergewissern Sie sich, dass der Iptables-Service ausgeführt wird. Verwenden Sie dazu den folgenden Befehl:

    NUM=$(iptables -L INPUT -n --line-numbers |grep 'reject-with' |awk ' {print $1}')

    Hinweis: Die ACCEPT-Anweisungen, die der REJECT-Anweisung in den Iptables folgen, werden nicht wirksam. Sie können die Zeilennummer der REJECT-Anweisung in den Befehl aufnehmen, um sicherzustellen, dass die ACCEPT-Anweisungen der REJECT-Anweisung vorausgehen.

  3. Fügen Sie die Firewallausnahme für Port 10000 zu Iptables hinzu. Geben Sie den folgenden Befehl ein:

    iptables -I INPUT $NUM -m state --state NEW -p tcp --dport 10000 -j ACCEPT

  4. Speichern Sie die Iptables. Geben Sie den folgenden Befehl ein:

    /etc/init.d/iptables save

  5. Starten Sie Iptables neu. Geben Sie den folgenden Befehl ein:

    /etc/init.d/iptables restart

  6. Überprüfen Sie, ob die Firewallausnahmen für den Port hinzugefügt wurden. Geben Sie den folgenden Befehl ein:

    Service iptables status | grep 10000

    Die folgende Ausgabe sollte angezeigt werden:

    ACCEPT tcp -- 0.0.0.0/0 0.0.0.0/0 state NEW tcp dpt:10000

Installieren der Warehouse-Lizenzdatei

Sie müssen die Warehouse-Lizenzdatei manuell auf der Warehouse-Appliance installieren. Verfügen Sie über ein Cluster von Warehouse-Appliances, müssen Sie die Lizenzdatei auf der ersten Warehouse-Appliance im Cluster installieren.

Voraussetzungen

Vergewissern Sie sich, dass Sie:

  • die Warehouse-Lizenzdatei erhalten haben.
  • die Lizenzdatei unter Verwendung eines USB-Laufwerks oder durch SCP in das Verzeichnis /root/ auf der ersten Warehouse-Appliance im Cluster kopiert haben.

So installieren Sie die Warehouse-Lizenzdatei:

  1. Melden Sie sich bei der Appliance als Root-Benutzer an.
  2. Verwenden Sie zum Installieren der Lizenzdatei den folgenden Befehl:

    maprcli license add –is_file true –license <license_filename>

    Dabei ist <license_filename> der Dateiname der RSA NetWitness Warehouse-Lizenzdatei.
    Die Lizenzdatei wird ohne Ausgabemeldungen installiert. Wenn Sie dem Parameter internalnetworks in der Konfigurationsvorlagendatei einen Netzwerkbereich hinzugefügt haben, wird eine Warnmeldung angezeigt, die darauf hinweist, dass die Warehouse-Appliance nur für die Kommunikation mit dem in der Konfigurationsvorlagendatei eingegebenen Netzwerk konfiguriert ist. Diese Nachricht können Sie ignorieren, da dies keine Auswirkungen auf die Funktion hat.

  3. Bestätigen Sie die Installation der Lizenzdatei mit dem folgenden Befehl:

    maprcli license list

    Die Ausgabemeldungen werden auf dem Konsolenbildschirm angezeigt. Die letzten beiden Zeilen der Ausgabemeldung sollten dem folgenden Beispiel folgen:

    hash: "b8xO1flW8EMNSqq7zztn8D2BXnQ="
    3 May 14, 2013

  4. Rufen Sie eine Liste der Dateiverzeichnisse ab, indem Sie den folgenden Befehl ausführen:

    hadoop fs -ls /

Erzeugen der virtuellen IP-Adresse für die primäre Appliance

Erzeugen Sie eine virtuelle IP-Adresse für die primäre RSA NetWitness Warehouse (Warehouse)-Appliance:

Voraussetzungen

Vergewissern Sie sich, dass Sie die MAC-Adressen aller Warehouse-Appliances im Cluster notiert haben. Verwenden Sie den folgenden Befehl auf der Appliance, um die MAC-Adresse der Appliance anzuzeigen:

ifconfig <interface> | grep HWaddr

wobei <interface> die Netzwerkschnittstelle ist.

So erzeugen Sie eine virtuelle IP-Adresse für die primäre Warehouse-Appliance:

  1. Melden Sie sich bei der primären Appliance als Root-Benutzer an.
  2. Erstellen Sie die virtuelle IP-Adresse. Geben Sie den folgenden Befehl ein:
    maprcli virtualip add -virtualip <VIP_address> -netmask <netmask> -macs <mac_node1> <mac_node2> <mac_node3> ……< mac_node n>
    Hierbei gilt:
    • <VIP_address> die virtuelle IP-Adresse für die primäre Warehouse-Appliance ist.
    • <netmask> die Netzmaskenadresse der primären Warehouse-Appliance ist.
    • <mac_node1> die MAC-Adresse des ersten Node im Warehouse-Cluster ist.
    • <mac_node2> die MAC-Adresse des zweiten Node im Warehouse-Cluster ist.
    Wenn z. B. die MAC-Adresse für Node 1 01:Z1:1X:00:20:Y1 und für Node 2 32:Y2:4Z:40:10:X3 lautet und die IP-Adresse192.168.100.10 ist, geben Sie den Befehl wie folgt ein:
    maprcli virtualip add -virtualip 192.168.100.10 -netmask <netmask> -macs 01:Z1:1X:00:20:Y1 32:Y2:4Z:40:10:X3 
  3. Überprüfen Sie die virtuelle IP-Adresse mit dem folgenden Befehl:
    maprcli virtualip list
  4. Sie können zum Hinzufügen oder Entfernen virtueller IP-Adressen die Befehlszeile oder das MapR-Kontrollsystem verwenden. Weitere Informationen erhalten Sie in den Abschnitten „Bearbeiten und Entfernen virtueller IP-Adressen (Befehlszeile)“ und „Hinzufügen und Entfernen einer virtuellen IP-Adresse (MapR-UI)“ unter Managen des MapR-Clusters.

Konfigurieren anderer NetWitness Suite-Services

Konfigurieren Sie andere NetWitness Suite-Services für RSA NetWitness Warehouse (MapR). 

  1. Wenn Sie das Vulnerability Response Management (VRM) nicht nutzen, sollten Sie die Hbase-Services deaktivieren, damit der konfigurierte Arbeitsspeicher an anderer Stelle im Cluster genutzt werden kann. Sie können die Hbase-Services über die Befehlszeile oder das MapR-Kontrollsystem beenden. Weitere Informationen finden Sie unter Beenden der Hbase-Services mithilfe der Befehlszeile und Beenden der Hbase-Services mithilfe des MapR-Kontrollsystems.
  2. Fügen Sie der Reporting Engine Warehouse-Datenquellen hinzu. Eine ausführliche Beschreibung des Verfahrens finden Sie im Thema „Hinzufügen von Warehouse als Datenquelle zu Reporting Engine“ im Reporting Engine-Konfigurationsleitfaden.

Beenden der Hbase-Services mithilfe der Befehlszeile

In diesem Abschnitt werden die Schritte zum Beenden der Hbase-Services mithilfe der Befehlszeile beschrieben. Wenn Sie VRM (Vulnerability Response Management) nicht verwenden, sollten Sie die Hbase-Services beenden, um den konfigurierten Arbeitsspeicher zurückzugeben, damit er anderswo im Cluster zur Verfügung steht. 

So beenden Sie die Hbase-Services mithilfe der Befehlszeile:

  1. Beenden Sie den Hbase RegionServer-Service auf allen Appliances mit dem folgenden Befehl:
    maprcli node services -hbregionserver stop -filter "[hn==*]"
  2. Beenden Sie den Hbase RegionServer-Service auf einem bestimmten Node mit dem folgenden Befehl:
    maprcli node services -hbregionserver stop -filter "[hn==<Hostname>]"
    Dabei steht <Hostname> für den Hostnamen des spezifischen Node.
  3. Beenden Sie den Hbase Master-Service auf allen Appliances mit dem folgenden Befehl:
    maprcli node services -hbmaster stop -filter "[hn==*]"
  4. Beenden Sie den Hbase Master-Service auf einem bestimmten Node mit dem folgenden Befehl:
    maprcli node services -hbmaster stop -filter "[hn==<Hostname>]"
    Dabei steht <Hostname> für den Hostnamen des spezifischen Node.

Zusammenfassung der Befehle zum Beenden und Starten von Hbase-Services

In der folgenden Tabelle sind die Befehle zusammengefasst, mit denen Sie die Hbase-Services für die HBase RegionServer- und HBase Master-Services beenden und starten.

                         
HBase RegionServerMithilfe der Befehlszeile auszuführender Befehl
Alle Appliances beenden maprcli node services -hbregionserver stop -filter "[hn==*]"
Alle Appliances startenmaprcli node services -hbregionserver start -filter "[hn==*]"
Auf bestimmtem Node beendenmaprcli node services -hbregionserver stop -filter "[hn==<Hostname>]"
Auf bestimmtem Node startenmaprcli node services -hbregionserver start -filter "[hn==<Hostname>]"

 

                         
HBase MasterMithilfe der Befehlszeile auszuführender Befehl
Alle Appliances beendenmaprcli node services -hbmaster stop -filter "[hn==*]"
Alle Appliances startenmaprcli node services -hbmaster start -filter "[hn==*]"
Auf bestimmtem Node beendenmaprcli node services -hbmaster stop -filter "[hn==<Hostname>]"
Auf bestimmtem Node startenmaprcli node services -hbmaster start -filter "[hn==<Hostname>]"

Dabei steht <Hostname> für den Hostnamen des spezifischen Node.

Beenden der Hbase-Services mithilfe des MapR-Kontrollsystems

Dieser Abschnitt erläutert die Schritte zum Beenden der Hbase-Services mithilfe des MapR-Kontrollsystems. Wenn Sie VRM (Vulnerability Response Management) nicht verwenden, sollten Sie die Hbase-Services beenden, um den konfigurierten Arbeitsspeicher zurückzugeben, damit er anderswo im Cluster zur Verfügung steht. 

  1. Melden Sie sich bei der Benutzeroberfläche des MapR-Kontrollsystems an. Weitere Informationen finden Sie im Abschnitt „Zugreifen auf MapR-Kontrollsystem-Benutzeroberfläche für Clusteradministration“ unter Managen des MapR-Clusters.
  2. Zum Beenden der HBase Master-Services klicken Sie im Abschnitt Services des Dashboards in der Spalte Actv des HBase Master-Service auf die Zahl. Dies ist die Anzahl der aktiven Services für den HBase Master-Service.
    Anzahl der aktiven Services für den HBase Master-Service
  3. Klicken Sie auf der Registerkarte Cluster-Nodes auf Services managen.
    Services managen

    Das Dialogfeld Node-Services managen wird angezeigt.
    Node-Services managen
  4. Wählen Sie im Feld HBase Master die Option Beenden aus.
    Beenden des HBase Master-Service
  5. Klicken Sie auf <Anzahl_der_Nodes> Nodes ändern.
    Dabei ist <Anzahl_der_Nodes> die Anzahl der ausgewählten aktiven Nodes.
    Beispiel: Klicken Sie auf 3 Nodes ändern.
    Ändern der Anzahl der Nodes
    Der HBase Master-Service für die ausgewählten Nodes muss sich daraufhin im Zustand „Beendet“ befinden.
  6. Um die HBase RegionServer-Services zu beenden, wiederholen Sie die Schritte 2 bis 5 für die Hbase RegionServer-Services.
You are here
Table of Contents > Konfigurieren von MapR

Attachments

    Outcomes