ESM: Troubleshooting bei Feeds

Document created by RSA Information Design and Development on May 14, 2018Last modified by RSA Information Design and Development on May 14, 2018
Version 2Show Document
  • View in full screen mode
 

Der Zweck des Feedgenerators ist das Erzeugen der Zuordnung einer Ereignisquelle zu einer Gruppenliste, zu der sie gehört.

Wenn es eine Ereignisquelle gibt, aus der Sie Meldungen sammeln, und diese nicht in den korrekten Ereignisquellengruppen angezeigt wird, dann finden Sie in diesem Thema Hintergründe und Informationen, die Ihnen helfen, das Problem zu identifizieren.

Details

Der ESM-Feed ordnet mehrere Schlüssel einem einzigen Wert zu. Er ordnet die Attribute DeviceAddress, Forwarder und DeviceType dem Wert groupName zu.

Der Zweck des ESM-Feeds ist es, die Ereignisquellen-Metadaten mit dem auf dem Log Decoder gesammelten groupName zu versehen.

Funktionsweise

Der Feedgenerator wird planmäßig jede Minute aktualisiert. Er wird jedoch nur ausgelöst, wenn Änderungen (Erstellen, Aktualisieren oder Löschen) in Ereignisquellen oder -gruppen auftreten.

Er erzeugt eine einzige Feeddatei mit Zuordnungen von Ereignisquellen zu Gruppen und verteilt denselben Feed an alle Log Decoder, die mit NetWitness Suite verbunden sind.

Nachdem die Feeddatei auf die Log Decoders hochgeladen wurde, wird den Metadaten für jedes neue Ereignis der groupName hinzugefügt und dieser groupName wird an logstats angehängt.

Sobald der „groupName“ in logstats enthalten ist, gruppiert der ESM-Aggregator Informationen und sendet Sie an ESM. Zu diesem Zeitpunkt sollte in der Registerkarte Ereignisquellenüberwachung die Spalte Gruppenname angezeigt werden.

Der gesamte Vorgang kann einige Zeit in Anspruch nehmen. Daher kann es nach dem Hinzufügen einer Gruppe oder einer Ereignisquelle einige Sekunden dauern, bevor der Gruppenname angezeigt wird.

Hinweis: Wird das Attribut für die Ereignisquellentyp geändert, wenn der Feed aktualisiert wird, fügt NetWitness Suite einen neuen Eintrag in der „logstats“-Datei hinzu, statt den vorhandenen Eintrag zu ändern. Daher existieren in logdecoder zwei verschiedenen logstats-Einträge. Zuvor vorhandene Meldungen werden unter dem vorherigen Typ aufgeführt und alle neuen Meldungen werden für den neuen Ereignisquellentyp protokolliert.

Feeddatei

Die Feeddatei ist wie folgt formatiert:

DeviceAddress, Forwarder, DeviceType, GroupName

DeviceAddress ist entweder ipv4, ipv6 oder hostname, je nachdem, welcher Typ für die Ereignisquelle definiert wurde.

Im Folgenden ist ein Beispiel der Feeddatei dargestellt:

"12.12.12.12","d6","NETFLOW","grp1"
"12.12.12.12","ld4","netflow","grp1"
"12.12.12.12","d6","netfow","grp1"
"0:E:507:E6:D4DB:E:59C:A","10.25.50.243","apache","Apachegrp"
"1.2.3.4","LCC","apache","Apachegrp"
"10.100.33.234","LC1","apache","Apachegrp"
"10.25.50.248","10.25.50.242","apache","Apachegrp"
"10.25.50.251","10.25.50.241","apache","Apachegrp"
"10.25.50.252","10.25.50.255","apache","Apachegrp"
"10.25.50.253","10.25.50.251","apache","Apachegrp"
"10.25.50.254","10.25.50.230","apache","Apachegrp"
"10.25.50.255","10.25.50.254","apache","Apachegrp"
"13.13.13.13","LC1","apache","Apachegrp"
"AB:F255:9:8:6C88:EEC:44CE:7",,"apache","Apachegrp"
"Appliance1234",,"apache","Apachegrp"
"CB:F255:9:8:6C88:EEC:44CE:7","10.25.50.253","apache","Apachegrp"

Troubleshooting bei Feeds

Sie können die folgenden Elemente überprüfen, um einzugrenzen, wo das Problem auftritt.

10.5 Log Decoders

Sind Ihre NetWitness Suite Log Decoder auf Version 10.5 oder höher aktualisiert? Wenn nicht, müssen Sie ein Upgrade durchführen. In NetWitness Suite Version 10.5 werden Feeds nur an Log Decoder der Version 10.5 gesendet. 

Vorhandene Feeddatei

Vergewissern Sie sich, dass das Feed-ZIP-Archiv an folgendem Speicherort vorhanden ist:

/opt/rsa/sms/esmfeed.zip

Ändern Sie diese Datei nicht.

Gruppenmetadaten auf LD ausgefüllt

Überprüfen Sie, ob die Gruppenmetadaten auf dem Log Decoder ausgefüllt sind. Navigieren Sie zum Log Decoder-REST und überprüfen Sie die logstats-Datei:

http://LogDecoderIP:50102/decoder?msg=logStats&force-content-type=text/plain

Die ist ein Beispiel für eine logstats-Datei mit Gruppeninformationen:

device=apache forwarder=NWAPPLIANCE10304 source=1.2.3.4 count=338 lastSeenTime=2015-Feb-04 22:30:19 lastUpdatedTime=2015-Feb-04 22:30:19
groups=IP1234Group,apacheGroup
device=apachetomcat forwarder=NWAPPLIANCE10304 source=5.6.7.8 count=1301 lastSeenTime=2015-Feb-04 22:30:19 lastUpdatedTime=2015-Feb-04 22:30:19
groups=AllOtherGroup,ApacheTomcatGroup

Im Text oben sind die Gruppeninformationen fett gedruckt.

Gerätegruppenmetadaten auf dem Concentrator

Vergewissern Sie sich, dass der Metawert Gerätegruppe auf dem Concentrator vorhanden ist und dass die Ereignisse Werte für das Feld device.group aufweisen.

esm_tbl_devgrp2.png

SMS-Protokolldatei

Überprüfen Sie die SMS-Protokolldatei an dem folgenden Speicherort, um Informations- und Fehlermeldungen anzuzeigen: /opt/rsa/sms/logs/sms.log

Im Folgenden finden Sie Beispiele für Informationsmeldungen:

 Feed generator triggered... Created CSV feed file. Created zip feed file. Pushed ESM Feed to LogDeocder : <logdecoder IP> 

Im Folgenden finden Sie Beispiele für Fehlermeldungen:

Error creating CSV File : <reason>Unable to push the ESM Feed: Unable to create feed zip archive.
Failed to add Group in CSV: GroupName: <groupName> : Error: <error>
Unable to push the ESM Feed: CSV file is empty, make sure you have al-least on group with al-least one eventsource.
Unable to push the ESM Feed: No LogDecoders found.
Unable to push the ESM Feed: Unable to push feed file on LogDecoder-<logdecoderIP>Unable to push the ESM Feed: admin@<logdecoderIP>:50002/decoder/parsers received error: The zip archive "/etc/netwitness/ng/upload/<esmfeedfileName>.zip" could not be opened
Unable to push the ESM Feed: <reason>

Überprüfen, ob logstats-Daten von ESMReader und ESMAggregator gelesen und weitergeleitet werden

Diese Schritte dienen der Überprüfung, ob die logstats-Daten von collectd gesammelt und an das Ereignisquellenmanagement weitergeleitet werden.

ESMReader

  1. Fügen Sie auf den Log Decoders in /etc/collectd.d/NwLogDecoder_ESM.conf das Flag debug "true" hinzu:

     #
    # Copyright (c) 2014 RSA The Security Division of EMC
    #
    <Plugin generic_cpp> PluginModulePath "/usr/lib64/collectd"
    debug "true"

    <Module "NgEsmReader" "all">
    port "56002"
    ssl "yes"
    keypath "/var/lib/puppet/ssl/private_keys/d4c6dcd4-6737-4838-a2f7- ba7e9a165aae.pem"
    certpath "/var/lib/puppet/ssl/certs/d4c6dcd4-6737-4838-a2f7- ba7e9a165aae.pem"
    interval "600"
    query "all"
    <stats>
    </stats>
    </Module>
    <Module "NgEsmReader" "update">
    port "56002"
    ssl "yes"
    keypath "/var/lib/puppet/ssl/private_keys/d4c6dcd4-6737-4838-a2f7- ba7e9a165aae.pem"
    certpath "/var/lib/puppet/ssl/certs/d4c6dcd4-6737-4838-a2f7- ba7e9a165aae.pem"
    interval "60"
    query "update"
    <stats>
    </stats>
    </Module>
    </Plugin>
  2. Führen Sie den folgenden Befehl aus.

    collectd service restart

  3. Führen Sie den folgenden Befehl aus:

    tail –f /var/log/messages | grep collectd

    Vergewissern Sie sich, dass ESMReader die „logstats“ liest und keine Fehler vorhanden sind. Wenn Probleme beim Lesen vorliegen, werden Fehlermeldungen ähnlich der folgenden angezeigt:

     Apr 29 18:47:45 NWAPPLIANCE15788 collectd[14569]: DEBUG: NgEsmReader_all: error getting ESM data for field "groups" from logstat device=checkpointfw1 forwarder=PSRTEST source=1.11.51.212. Reason: <reason>Apr 29 18:58:36 NWAPPLIANCE15788 collectd[14569]: DEBUG: NgEsmReader_update: error getting ESM data for field "forwarder" from logstat device=apachetomcat source=10.31.204.240. Reason: <reason>

ESMAggregator

  1. Kommentieren Sie in NetWitness Suite das Flag „verbose“ in /etc/collectd.d/ESMAggregator.conf aus:

     # ESMAggregator module collectd.conf configuration file
    #
    # Copyright (c) 2014 RSA The Security Divsion of EMC
    #
    <Plugin generic_cpp>
    PluginModulePath "/usr/lib64/collectd"
    <Module "ESMAggregator">
    verbose 1
    interval "60"
    cache_save_interval "600"
    persistence_dir "/var/lib/netwitness/collectd"
    </Module>
    </Plugin>
  2. Führen Sie folgenden Befehl aus:

    collectd service restart.

  3. Führen Sie den folgenden Befehl aus:

    run “tail –f /var/log/messages | grep ESMA

    Suchen Sie nach ESMAggregator-Daten und stellen Sie sicher, dass Ihr Logstat-Eintrag in Protokollen verfügbar ist.

Beispielausgabe:

 Mar 1 02:32:08 NWAPPLIANCE15936 collectd[11203]: ESMAggregator: MetaData[0] logdecoder[0] = d4c6dcd4-6737-4838-a2f7-ba7e9a165aae
Mar 1 02:32:08 NWAPPLIANCE15936 collectd[11203]: ESMAggregator: MetaData[1] logdecoder_utcLastUpdate[0] = 1425174451
Mar 1 02:32:08 NWAPPLIANCE15936 collectd[11203]: ESMAggregator: MetaData[2] groups = Cacheflowelff,Mixed
Mar 1 02:32:08 NWAPPLIANCE15936 collectd[11203]: ESMAggregator: MetaData[3] logdecoders = d4c6dcd4-6737-4838-a2f7-ba7e9a165aae
Mar 1 02:32:08 NWAPPLIANCE15936 collectd[11203]: ESMAggregator: MetaData[4] utcLastUpdate = 1425174451
Mar 1 02:32:08 NWAPPLIANCE15936 collectd[11203]: ESMAggregator: Dispatching ESM stat NWAPPLIANCE15788/esma_update-cacheflowelff/esm_counter-3.3.3.3 with a value of 1752 for NWAPPLIANCE15788/cacheflowelff/esm_counter-3.3.3.3 aggregated from 1 log decoders
Mar 1 02:32:08 NWAPPLIANCE15936 collectd[11203]: ESMAggregator: MetaData[0] logdecoder[0] = 767354a8-5e84-4317-bc6a-52e4f4d8bfff
Mar 1 02:32:08 NWAPPLIANCE15936 collectd[11203]: ESMAggregator: MetaData[1] logdecoder_utcLastUpdate[0] = 1425174470
Mar 1 02:32:08 NWAPPLIANCE15936 collectd[11203]: ESMAggregator: MetaData[2] groups = Cacheflowelff,Mixed
Mar 1 02:32:08 NWAPPLIANCE15936 collectd[11203]: ESMAggregator: MetaData[3] logdecoders = 767354a8-5e84-4317-bc6a-52e4f4d8bfff
Mar 1 02:32:08 NWAPPLIANCE15936 collectd[11203]: ESMAggregator: MetaData[4] utcLastUpdate = 1425174470
Mar 1 02:32:08 NWAPPLIANCE15936 collectd[11203]: ESMAggregator: Dispatching RRD stat NWAPPLIANCE15788/esma_rrd-cacheflowelff/esm_counter-3.3.3.3 with a value of 1752 for NWAPPLIANCE15788/cacheflowelff/esm_counter-3.3.3.3 aggregated from 1 log

Konfigurieren des Jobintervalls des JMX-Feedgenerators

Obwohl der Feederzeugungsjob so geplant ist, dass er standardmäßig jede Minute ausgeführt wird, können Sie dies bei Bedarf mit jconsole ändern.

So ändern Sie das Jobintervall des Feedgenerators:

  1. Öffnen Sie jconsole für den SMS-Service.
  2. Navigieren Sie in der Registerkarte „MBeans“ zu com.rsa.netwitness.sms > API > esmConfiguration > Attribute.
  3. Ändern Sie den Wert für die Eigenschaft FeedGeneratorJobIntervalInMinutes.
  4. Wechseln Sie in derselben Navigationsstruktur zu Vorgänge und klicken Sie auf commit(). Dadurch wird der neue Wert in der zugehörigen json-Datei unter /opt/rsa/sms/conf persistent und der Wert wird verwendet, wenn SMS neu gestartet wird.

Durch das Festlegen eines neuen Wertes wir der Feedgeneratorjob auf das neue Intervall umgeplant.

You are here
Table of Contents > ESM: Troubleshooting > ESM: Troubleshooting bei Feeds

Attachments

    Outcomes