Überblick
Der Zweck des Feedgenerators ist das Erzeugen der Zuordnung einer Ereignisquelle zu einer Gruppenliste, zu der sie gehört.
Wenn es eine Ereignisquelle gibt, aus der Sie Meldungen sammeln, und diese nicht in den korrekten Ereignisquellengruppen angezeigt wird, dann finden Sie in diesem Thema Hintergründe und Informationen, die Ihnen helfen, das Problem zu identifizieren.
Details
Der ESM-Feed ordnet mehrere Schlüssel einem einzigen Wert zu. Er ordnet die Attribute DeviceAddress, Forwarder und DeviceType dem Wert groupName zu.
Der Zweck des ESM-Feeds ist es, die Ereignisquellen-Metadaten mit dem auf dem Log Decoder gesammelten groupName zu versehen.
Funktionsweise
Der Feedgenerator wird planmäßig jede Minute aktualisiert. Er wird jedoch nur ausgelöst, wenn Änderungen (Erstellen, Aktualisieren oder Löschen) in Ereignisquellen oder -gruppen auftreten.
Er erzeugt eine einzige Feeddatei mit Zuordnungen von Ereignisquellen zu Gruppen und verteilt denselben Feed an alle Log Decoder, die mit NetWitness Suite verbunden sind.
Nachdem die Feeddatei auf die Log Decoders hochgeladen wurde, wird den Metadaten für jedes neue Ereignis der groupName hinzugefügt und dieser groupName wird an logstats angehängt.
Sobald der „groupName“ in logstats enthalten ist, gruppiert der ESM-Aggregator Informationen und sendet Sie an ESM. Zu diesem Zeitpunkt sollte in der Registerkarte Ereignisquellenüberwachung die Spalte Gruppenname angezeigt werden.
Der gesamte Vorgang kann einige Zeit in Anspruch nehmen. Daher kann es nach dem Hinzufügen einer Gruppe oder einer Ereignisquelle einige Sekunden dauern, bevor der Gruppenname angezeigt wird.
Hinweis: Wird das Attribut für die Ereignisquellentyp geändert, wenn der Feed aktualisiert wird, fügt NetWitness Suite einen neuen Eintrag in der „logstats“-Datei hinzu, statt den vorhandenen Eintrag zu ändern. Daher existieren in logdecoder zwei verschiedenen logstats-Einträge. Zuvor vorhandene Meldungen werden unter dem vorherigen Typ aufgeführt und alle neuen Meldungen werden für den neuen Ereignisquellentyp protokolliert.
Feeddatei
Die Feeddatei ist wie folgt formatiert:
DeviceAddress, Forwarder, DeviceType, GroupName
DeviceAddress ist entweder ipv4, ipv6 oder hostname, je nachdem, welcher Typ für die Ereignisquelle definiert wurde.
Im Folgenden ist ein Beispiel der Feeddatei dargestellt:
"12.12.12.12","d6","NETFLOW","grp1" "12.12.12.12","ld4","netflow","grp1" "12.12.12.12","d6","netfow","grp1" "0:E:507:E6:D4DB:E:59C:A","10.25.50.243","apache","Apachegrp" "1.2.3.4","LCC","apache","Apachegrp" "10.100.33.234","LC1","apache","Apachegrp" "10.25.50.248","10.25.50.242","apache","Apachegrp" "10.25.50.251","10.25.50.241","apache","Apachegrp" "10.25.50.252","10.25.50.255","apache","Apachegrp" "10.25.50.253","10.25.50.251","apache","Apachegrp" "10.25.50.254","10.25.50.230","apache","Apachegrp" "10.25.50.255","10.25.50.254","apache","Apachegrp" "13.13.13.13","LC1","apache","Apachegrp" "AB:F255:9:8:6C88:EEC:44CE:7",,"apache","Apachegrp" "Appliance1234",,"apache","Apachegrp" "CB:F255:9:8:6C88:EEC:44CE:7","10.25.50.253","apache","Apachegrp"
Troubleshooting
Sie können die folgenden Elemente überprüfen, um einzugrenzen, wo das Problem auftritt.
Vorhandene Feeddatei
Vergewissern Sie sich, dass das Feed-ZIP-Archiv an folgendem Speicherort vorhanden ist:
/opt/rsa/sms/esmfeed.zip
Ändern Sie diese Datei nicht.
Gruppenmetadaten auf LD ausgefüllt
Überprüfen Sie, ob die Gruppenmetadaten auf dem Log Decoder ausgefüllt sind. Navigieren Sie zum Log Decoder-REST und überprüfen Sie die logstats-Datei:
http://LogDecoderIP:50102/decoder?msg=logStats&force-content-type=text/plain
Die ist ein Beispiel für eine logstats-Datei mit Gruppeninformationen:
device=apache forwarder=NWAPPLIANCE10304 source=1.2.3.4 count=338 lastSeenTime=2015-Feb-04 22:30:19 lastUpdatedTime=2015-Feb-04 22:30:19 groups=IP1234Group,apacheGroup device=apachetomcat forwarder=NWAPPLIANCE10304 source=5.6.7.8 count=1301 lastSeenTime=2015-Feb-04 22:30:19 lastUpdatedTime=2015-Feb-04 22:30:19 groups=AllOtherGroup,ApacheTomcatGroup
Im Text oben sind die Gruppeninformationen fett gedruckt.
Gerätegruppenmetadaten auf dem Concentrator
Vergewissern Sie sich, dass der Metawert Gerätegruppe auf dem Concentrator vorhanden ist und dass die Ereignisse Werte für das Feld device.group aufweisen.
SMS-Protokolldatei
Überprüfen Sie die SMS-Protokolldatei an dem folgenden Speicherort, um Informations- und Fehlermeldungen anzuzeigen: /opt/rsa/sms/logs/sms.log
Im Folgenden finden Sie Beispiele für Informationsmeldungen:
Feed generator triggered... Created CSV feed file. Created zip feed file. Pushed ESM Feed to LogDeocder : <logdecoder IP>
Im Folgenden finden Sie Beispiele für Fehlermeldungen:
Error creating CSV File : <reason>Unable to push the ESM Feed: Unable to create feed zip archive. Failed to add Group in CSV: GroupName: <groupName> : Error: <error> Unable to push the ESM Feed: CSV file is empty, make sure you have al-least on group with al-least one eventsource. Unable to push the ESM Feed: No LogDecoders found. Unable to push the ESM Feed: Unable to push feed file on LogDecoder-<logdecoderIP>Unable to push the ESM Feed: admin@<logdecoderIP>:50002/decoder/parsers received error: The zip archive "/etc/netwitness/ng/upload/<esmfeedfileName>.zip" could not be opened Unable to push the ESM Feed: <reason>
Überprüfen, ob logstats-Daten von ESMReader und ESMAggregator gelesen und weitergeleitet werden
Diese Schritte dienen der Überprüfung, ob die logstats-Daten von collectd gesammelt und an das Ereignisquellenmanagement weitergeleitet werden.
ESMReader
- Fügen Sie auf den Log Decodern den Flag debug "true" in die Datei /etc/collectd.d/NwLogDecoder_ESM.conf ein:
# # Copyright (c) 2014 RSA The Security Division of EMC # <Plugin generic_cpp> PluginModulePath "/usr/lib64/collectd" debug "true" <Module "NgEsmReader" "all"> port "56002" ssl "yes" keypath "/var/lib/puppet/ssl/private_keys/d4c6dcd4-6737-4838-a2f7- ba7e9a165aae.pem" certpath "/var/lib/puppet/ssl/certs/d4c6dcd4-6737-4838-a2f7- ba7e9a165aae.pem" interval "600" query "all" <stats> </stats> </Module> <Module "NgEsmReader" "update"> port "56002" ssl "yes" keypath "/var/lib/puppet/ssl/private_keys/d4c6dcd4-6737-4838-a2f7- ba7e9a165aae.pem" certpath "/var/lib/puppet/ssl/certs/d4c6dcd4-6737-4838-a2f7- ba7e9a165aae.pem" interval "60" query "update" <stats> </stats> </Module></Plugin>
- Führen Sie den Befehl
collectd service restart aus. - Führen Sie den folgenden Befehl aus:
tail –f /var/log/messages | grep collectd
Vergewissern Sie sich, dass ESMReader die „logstats“ liest und keine Fehler vorhanden sind. Wenn Probleme beim Lesen vorliegen, werden Fehlermeldungen ähnlich der folgenden angezeigt:
Apr 29 18:47:45 NWAPPLIANCE15788 collectd[14569]: DEBUG: NgEsmReader_all: error getting ESM data for field "groups" from logstat device=checkpointfw1 forwarder=PSRTEST source=1.11.51.212. Reason: <reason>Apr 29 18:58:36 NWAPPLIANCE15788 collectd[14569]: DEBUG: NgEsmReader_update: error getting ESM data for field "forwarder" from logstat device=apachetomcat source=10.31.204.240. Reason: <reason>
ESMAggregator
- Kommentieren Sie in NetWitness Suite das Flag „verbose“ in /etc/collectd.d/ESMAggregator.conf aus:
# ESMAggregator module collectd.conf configuration file # # Copyright (c) 2014 RSA The Security Divsion of EMC # <Plugin generic_cpp> PluginModulePath "/usr/lib64/collectd" <Module "ESMAggregator"> verbose 1 interval "60" cache_save_interval "600" persistence_dir "/var/lib/netwitness/collectd" </Module> </Plugin>
- Führen Sie folgenden Befehl aus:
collectd service restart. - Führen Sie den folgenden
-Befehl aus:run “tail –f /var/log/messages | grep ESMA
Suchen Sie nach ESMAggregator-Daten und stellen Sie sicher, dass Ihr „logstats“-Eintrag in Protokollen verfügbar ist.
Beispielausgabe:
Mar 1 02:32:08 NWAPPLIANCE15936 collectd[11203]: ESMAggregator: MetaData[0] logdecoder[0] = d4c6dcd4-6737-4838-a2f7-ba7e9a165aae Mar 1 02:32:08 NWAPPLIANCE15936 collectd[11203]: ESMAggregator: MetaData[1] logdecoder_utcLastUpdate[0] = 1425174451 Mar 1 02:32:08 NWAPPLIANCE15936 collectd[11203]: ESMAggregator: MetaData[2] groups = Cacheflowelff,Mixed Mar 1 02:32:08 NWAPPLIANCE15936 collectd[11203]: ESMAggregator: MetaData[3] logdecoders = d4c6dcd4-6737-4838-a2f7-ba7e9a165aae Mar 1 02:32:08 NWAPPLIANCE15936 collectd[11203]: ESMAggregator: MetaData[4] utcLastUpdate = 1425174451 Mar 1 02:32:08 NWAPPLIANCE15936 collectd[11203]: ESMAggregator: Dispatching ESM stat NWAPPLIANCE15788/esma_update-cacheflowelff/esm_counter-3.3.3.3 with a value of 1752 for NWAPPLIANCE15788/cacheflowelff/esm_counter-3.3.3.3 aggregated from 1 log decoders Mar 1 02:32:08 NWAPPLIANCE15936 collectd[11203]: ESMAggregator: MetaData[0] logdecoder[0] = 767354a8-5e84-4317-bc6a-52e4f4d8bfff Mar 1 02:32:08 NWAPPLIANCE15936 collectd[11203]: ESMAggregator: MetaData[1] logdecoder_utcLastUpdate[0] = 1425174470 Mar 1 02:32:08 NWAPPLIANCE15936 collectd[11203]: ESMAggregator: MetaData[2] groups = Cacheflowelff,Mixed Mar 1 02:32:08 NWAPPLIANCE15936 collectd[11203]: ESMAggregator: MetaData[3] logdecoders = 767354a8-5e84-4317-bc6a-52e4f4d8bfff Mar 1 02:32:08 NWAPPLIANCE15936 collectd[11203]: ESMAggregator: MetaData[4] utcLastUpdate = 1425174470 Mar 1 02:32:08 NWAPPLIANCE15936 collectd[11203]: ESMAggregator: Dispatching RRD stat NWAPPLIANCE15788/esma_rrd-cacheflowelff/esm_counter-3.3.3.3 with a value of 1752 for NWAPPLIANCE15788/cacheflowelff/esm_counter-3.3.3.3 aggregated from 1 log
Konfigurieren des Jobintervalls des JMX-Feedgenerators
Obwohl der Feedgeneratorjob so geplant ist, dass er standardmäßig jede Minute ausgeführt wird, können Sie dies bei Bedarf mit jconsole ändern.
So ändern Sie das Jobintervall des Feedgenerators:
- Öffnen Sie jconsole für den SMS-Service.
- Navigieren Sie in der Registerkarte „MBeans“ zu com.rsa.netwitness.sms > API > esmConfiguration > Attribute.
- Ändern Sie den Wert für die Eigenschaft FeedGeneratorJobIntervalInMinutes.
- Wechseln Sie in derselben Navigationsstruktur zu Vorgänge und klicken Sie auf commit(). Dadurch wird der neue Wert in der zugehörigen json-Datei unter /opt/rsa/sms/conf persistent und der Wert wird verwendet, wenn SMS neu gestartet wird.
Durch das Festlegen eines neuen Wertes wir der Feedgeneratorjob auf das neue Intervall umgeplant.
On this page
