Mantenimiento del sistema: Solucionar problemas de feeds

Document created by RSA Information Design and Development on Mar 2, 2017
Version 1Show Document
  • View in full screen mode
  

Descripción general

El propósito del generador de feeds es generar un mapeo de un origen de eventos a la lista de grupos a la cual pertenece.

Si tiene un origen de eventos desde el cual recopila mensajes, pero no se muestra en los grupos de orígenes de eventos correctos, en este tema se proporcionan antecedentes e información que lo ayudarán a rastrear el problema.

Detalles

El feed de ESM mapea múltiples claves a un único valor. Mapea los atributos DeviceAddress, Forwarder y DeviceType a groupName.

El propósito del feed de ESM es enriquecer los metadatos de orígenes de eventos con el groupName recopilado en el Log Decoder.

Cómo funciona

El generador de feeds está programado para actualizarse cada minuto. Sin embargo, solo se activa si hay cambios (crear, actualizar o eliminar) en los orígenes de eventos o los grupos.

Genera un único archivo de feed con mapeo de origen de eventos a grupo y migra el mismo feed a todos los Log Decoders conectados a Security Analytics.

Una vez que el archivo de feed se carga en los Log Decoders, para los eventos nuevos, enriquece los metadatos de los eventos con groupName y agrega este groupName a logstats.

Cuando groupName está en logstats, el agregador de ESM agrupa la información y la envía a ESM. En este punto, debe ver la columna Nombre del grupo bajo la pestaña Monitoreo de orígenes de eventos.

El proceso completo puede tardar algún tiempo. Por lo tanto, tal vez deba esperar varios segundos después de agregar un nuevo grupo u origen de eventos antes de que se muestre el nombre del grupo.

Nota: Si el atributo de tipo de origen de eventos cambia cuando se actualiza el feed, Security Analytics agrega una nueva entrada en logstats en lugar de actualizar la existente. De este modo, habrá dos entradas de logstats distintas en logdecoder. Los mensajes existentes se enumeran bajo el tipo anterior y todos los mensajes nuevos se registran para el nuevo tipo de origen de eventos.

Archivo de feed

El formato del archivo de feed es el siguiente:

DeviceAddress, Forwarder, DeviceType, GroupName

DeviceAddress es ipv4, ipv6 o hostname, de acuerdo con lo que se definió para el origen de eventos.

El siguiente es un ejemplo del archivo de feed:

 "12.12.12.12","d6","NETFLOW","grp1" "12.12.12.12","ld4","netflow","grp1" "12.12.12.12","d6","netfow","grp1" "0:E:507:E6:D4DB:E:59C:A","10.25.50.243","apache","Apachegrp" "1.2.3.4","LCC","apache","Apachegrp" "10.100.33.234","LC1","apache","Apachegrp" "10.25.50.248","10.25.50.242","apache","Apachegrp" "10.25.50.251","10.25.50.241","apache","Apachegrp" "10.25.50.252","10.25.50.255","apache","Apachegrp" "10.25.50.253","10.25.50.251","apache","Apachegrp" "10.25.50.254","10.25.50.230","apache","Apachegrp" "10.25.50.255","10.25.50.254","apache","Apachegrp" "13.13.13.13","LC1","apache","Apachegrp" "AB:F255:9:8:6C88:EEC:44CE:7",,"apache","Apachegrp" "Appliance1234",,"apache","Apachegrp" "CB:F255:9:8:6C88:EEC:44CE:7","10.25.50.253","apache","Apachegrp"

Solución de problemas

Puede consultar los siguientes elementos para delimitar la causa del problema.

Log Decoders 10.5

¿Está usando la versión 10.5 de Security Analytics Log Decoders? Si no es así, debe actualizarlos. Para Security Analytics versión 10.5, solo se envían feeds a Log Decoders versión 10.5. 

Existencia del archivo de feed

Compruebe exista que el archivo Zip de los feeds en la siguiente ubicación:

/opt/rsa/sms/esmfeed.zip

No modifique este archivo.

Metadatos de grupo completados en LD

Verifique que los metadatos de grupo estén completados en el Log Decoder. Navegue a REST de Log Decoder y compruebe logstats:

 http://LogDecoderIP:50102/decoder?msg=logStats&force-content-type=text/plain 

Este es un ejemplo de un archivo logstats con información de grupo:

 device=apache forwarder=NWAPPLIANCE10304 source=1.2.3.4 count=338 lastSeenTime=2015-Feb-04 22:30:19 lastUpdatedTime=2015-Feb-04 22:30:19 groups=IP1234Group,apacheGroup device=apachetomcat forwarder=NWAPPLIANCE10304 source=5.6.7.8 count=1301 lastSeenTime=2015-Feb-04 22:30:19 lastUpdatedTime=2015-Feb-04 22:30:19 groups=AllOtherGroup,ApacheTomcatGroup 

En el texto anterior, la información de grupo aparece en negrita.

Metadatos de grupo de dispositivos en Concentrator

Compruebe que los metadatos de grupo de dispositivos existan en el Concentrator y que los eventos tengan valores para el campo device.group.

esm_tbl_devgrp1.png

esm_tbl_devgrp2.png

Archivo de registro de SMS

Compruebe el archivo de registro de SMS en la siguiente ubicación para ver mensajes informativos y de error: /opt/rsa/sms/logs/sms.log

Los siguientes son ejemplos de mensajes informativos:

 Feed generator triggered... Created CSV feed file. Created zip feed file. Pushed ESM Feed to LogDeocder : <logdecoder IP> 

Los siguientes son ejemplos de mensajes de error:

 Error creating CSV File : <reason>Unable to push the ESM Feed: Unable to create feed zip archive. Failed to add Group in CSV: GroupName: <groupName> : Error: <error> Unable to push the ESM Feed: CSV file is empty, make sure you have al-least on group with al-least one eventsource. Unable to push the ESM Feed: No LogDecoders found. Unable to push the ESM Feed: Unable to push feed file on LogDecoder-<logdecoderIP>Unable to push the ESM Feed: admin@<logdecoderIP>:50002/decoder/parsers received error: The zip archive "/etc/netwitness/ng/upload/<esmfeedfileName>.zip" could not be opened Unable to push the ESM Feed: <reason> 

Verificar que ESMReader y ESMAggregator lean y publiquen los datos de Logstats

Estos son los pasos para verificar que collectd recopile logstats y los publique en Administración de orígenes de eventos.

ESMReader

  1. En Log Decoders, agregue la marca debug "true" en /etc/collectd.d/NwLogDecoder_ESM.conf:
 # # Copyright (c) 2014 RSA The Security Division of EMC # <Plugin generic_cpp> PluginModulePath "/usr/lib64/collectd" debug "true" <Module "NgEsmReader" "all"> port "56002" ssl "yes" keypath "/var/lib/puppet/ssl/private_keys/d4c6dcd4-6737-4838-a2f7- ba7e9a165aae.pem" certpath "/var/lib/puppet/ssl/certs/d4c6dcd4-6737-4838-a2f7- ba7e9a165aae.pem" interval "600" query "all" <stats> </stats> </Module> <Module "NgEsmReader" "update"> port "56002" ssl "yes" keypath "/var/lib/puppet/ssl/private_keys/d4c6dcd4-6737-4838-a2f7- ba7e9a165aae.pem" certpath "/var/lib/puppet/ssl/certs/d4c6dcd4-6737-4838-a2f7- ba7e9a165aae.pem" interval "60" query "update" <stats> </stats> </Module></Plugin> 
  1. Ejecute el siguiente comando: 
    collectd service restart
  2. Ejecute el siguiente comando:
    tail –f /var/log/messages | grep collectd
    Verifique que ESMReader esté leyendo logstats y que no existan errores. Si hay problemas de lectura, verá errores similares al siguiente:
 Apr 29 18:47:45 NWAPPLIANCE15788 collectd[14569]: DEBUG: NgEsmReader_all: error getting ESM data for field "groups" from logstat device=checkpointfw1 forwarder=PSRTEST source=1.11.51.212. Reason: <reason>Apr 29 18:58:36 NWAPPLIANCE15788 collectd[14569]: DEBUG: NgEsmReader_update: error getting ESM data for field "forwarder" from logstat device=apachetomcat source=10.31.204.240. Reason: <reason> 

ESMAggregator

  1. En Security Analytics, quite la condición de comentario de la marca verbose en /etc/collectd.d/ESMAggregator.conf:
 # ESMAggregator module collectd.conf configuration file # # Copyright (c) 2014 RSA The Security Divsion of EMC # <Plugin generic_cpp> PluginModulePath "/usr/lib64/collectd" <Module "ESMAggregator"> verbose 1 interval "60" cache_save_interval "600" persistence_dir "/var/lib/netwitness/collectd" </Module> </Plugin> 
  1. Ejecute lo siguiente:
    collectd service restart.
  2. Ejecute el siguiente comando:
    run “tail –f /var/log/messages | grep ESMA
    Busque los datos de ESMAggregator y asegúrese de que la entrada de logstat esté disponible en los registros.

Ejemplo de salida:

 Mar 1 02:32:08 NWAPPLIANCE15936 collectd[11203]: ESMAggregator: MetaData[0] logdecoder[0] = d4c6dcd4-6737-4838-a2f7-ba7e9a165aae Mar 1 02:32:08 NWAPPLIANCE15936 collectd[11203]: ESMAggregator: MetaData[1] logdecoder_utcLastUpdate[0] = 1425174451 Mar 1 02:32:08 NWAPPLIANCE15936 collectd[11203]: ESMAggregator: MetaData[2] groups = Cacheflowelff,Mixed Mar 1 02:32:08 NWAPPLIANCE15936 collectd[11203]: ESMAggregator: MetaData[3] logdecoders = d4c6dcd4-6737-4838-a2f7-ba7e9a165aae Mar 1 02:32:08 NWAPPLIANCE15936 collectd[11203]: ESMAggregator: MetaData[4] utcLastUpdate = 1425174451 Mar 1 02:32:08 NWAPPLIANCE15936 collectd[11203]: ESMAggregator: Dispatching ESM stat NWAPPLIANCE15788/esma_update-cacheflowelff/esm_counter-3.3.3.3 with a value of 1752 for NWAPPLIANCE15788/cacheflowelff/esm_counter-3.3.3.3 aggregated from 1 log decoders Mar 1 02:32:08 NWAPPLIANCE15936 collectd[11203]: ESMAggregator: MetaData[0] logdecoder[0] = 767354a8-5e84-4317-bc6a-52e4f4d8bfff Mar 1 02:32:08 NWAPPLIANCE15936 collectd[11203]: ESMAggregator: MetaData[1] logdecoder_utcLastUpdate[0] = 1425174470 Mar 1 02:32:08 NWAPPLIANCE15936 collectd[11203]: ESMAggregator: MetaData[2] groups = Cacheflowelff,Mixed Mar 1 02:32:08 NWAPPLIANCE15936 collectd[11203]: ESMAggregator: MetaData[3] logdecoders = 767354a8-5e84-4317-bc6a-52e4f4d8bfff Mar 1 02:32:08 NWAPPLIANCE15936 collectd[11203]: ESMAggregator: MetaData[4] utcLastUpdate = 1425174470 Mar 1 02:32:08 NWAPPLIANCE15936 collectd[11203]: ESMAggregator: Dispatching RRD stat NWAPPLIANCE15788/esma_rrd-cacheflowelff/esm_counter-3.3.3.3 with a value of 1752 for NWAPPLIANCE15788/cacheflowelff/esm_counter-3.3.3.3 aggregated from 1 log 

Configurar el intervalo de trabajo del generador de feeds JMX

Aunque el trabajo de generación de feeds está calendarizado para ejecutarse cada minuto de manera predeterminada, puede cambiar esto con el uso de jconsole, si es necesario.

Para cambiar el intervalo de trabajo del generador de feeds:

  1. Abra jconsole para el servicio SMS.
  2. En la pestaña MBeans, navegue a com.rsa.netwitness.sms > APIesmConfiguration > Attributes.
  3. Modifique el valor de la propiedad FeedGeneratorJobIntervalInMinutes.
  4. Vaya a Operations en el mismo árbol de navegación y haga clic en commit(). Esto hace persistir el nuevo valor en el archivo json correspondiente bajo /opt/rsa/sms/conf y usa el valor si SMS se reinicia.

La configuración de un nuevo valor vuelve a programar el trabajo del generador de feeds en el nuevo intervalo.

Previous Topic:NwLogPlayer
Next Topic:References
You are here
Table of Contents > Troubleshoot Security Analytics > Troubleshoot Feeds

Attachments

    Outcomes