Decoder: Configurar la funcionalidad 10G

Document created by RSA Information Design and Development on Feb 9, 2017
Version 1Show Document
  • View in full screen mode
  

En este tema se indica a los administradores cómo ajustar específicamente un Packet Decoder para la captura de paquetes a alta velocidad.  

Esta guía se aplica cuando se capturan paquetes en una tarjeta de interfaz 10G. La captura de paquetes a altas velocidades requiere una configuración cuidadosa y lleva el hardware de Decoder a sus límites, razón por la cual debe leer este tema completo cuando implemente una solución de captura 10G.

RSA Security Analytics versión 10.6 ofrece compatibilidad con la recopilación de alta velocidad de Decoder. Puede capturar datos de paquetes de redes de mayor velocidad y optimizar su Packet Decoder para capturar tráfico de red con picos de hasta 8 Gb/s continuos y 10 Gb/s, según los analizadores y los feeds que haya activado.

RSA Security validó el análisis de contenido específico a altas velocidades. Consulte la sección Análisis a altas velocidades para obtener más información.

Para obtener información sobre cómo personalizar analizadores con contenido propio, consulte la sección Mejores prácticas de 10G .

Nota: Puede dirigirse a Configurar Decoder 10G si está comenzando con el nuevo hardware serie 5.

Las mejoras incorporadas para facilitar la captura en estos ambientes incluyen las siguientes:

• Utilización de la funcionalidad del driver de captura pf_ring para aprovechar la NIC Intel 10G genérica en la captura de alta velocidad.

• Introducción de la configuración de assembler.parse.valve. La configuración desactiva automáticamente los analizadores de aplicación cuando se superan determinados umbrales con el fin de limitar el riesgo de pérdida de paquetes. Una vez que estos analizadores se desactivan, los analizadores de la capa de red permanecen activos. Cuando las estadísticas bajan de los umbrales superados, los analizadores de aplicaciones se vuelven a activar automáticamente.

• Introducción de la configuración de parallel.values en Concentrator para optimizaciones de consultas.

Requisitos previos del hardware

  • Decoder serie 4S
  • Tarjeta Ethernet de fibra basada en Intel 82599, como Intel x520. Todas las tarjetas 10G que proporciona RSA cumplen con este requisito. Se pueden utilizar varios puertos en una única tarjeta 10G, pero no se admite la combinación de 10G con una tarjeta 1G.
  • 96 GB de memoria DD3-1600 en DIMM de doble rango. Los DIMM de rango único pueden disminuir el rendimiento hasta en un 10 %. Para determinar la velocidad y el rango de los DIMM instalados, ejecute el comando dmidecode -t 17.
  • Almacenamiento suficientemente grande y rápido para satisfacer el requisito de captura. Las consideraciones de almacenamiento se analizan más adelante en este tema.

Requisitos previos del software

  • Paquete de kernel de Linux obtenido de RSA. Solo son compatibles los paquetes de kernel de Linux que proporciona RSA.
  • Paquete de pfring que coincide con el kernel instalado actualmente. La versión del kernel debe coincidir exactamente con la versión de pfring.

Instalación de Decoder 10G

Realice los siguientes pasos para instalar Decoder 10G de Security Analytics 10.6:

Requisitos previos

• Plataformas SA-S4H-P-DEC o SMC-S4H-P-DEC basadas en la plataforma Dell R620

• NIC SMC-10GE-* Intel 520 10G instalada (disponible en RSA)

• Packet Decoders actualizados a 10.6

• Cada Packet Decoder configurado como mínimo con dos DAC o conectividad SAN.

Nota: Consulte Consideraciones de almacenamiento en este documento antes de realizar la actualización, ya que puede ser necesario un recableado físico.

• Dell R620 BIOS v1.2.6 o superior. Se recomienda que los clientes actualicen al BIOS v2.2.3 más reciente, pero no es requisito para 10G si ejecutan v1.2.6 o superior.

Nota: Las revisiones de BIOS anteriores a v1.2.6 tienen problemas para identificar correctamente la ubicación de la tarjeta de captura 10G dentro del sistema. Es importante actualizar el BIOS antes de instalar paquetes, ya que estos usan información que proporciona el BIOS para inicializar el sistema.

Consideración de análisis y contenido para la captura de paquetes

La captura y la ejecución de enriquecimiento contra paquetes crudos pueden presentar retos únicos a cualquier velocidad de captura. A mayores velocidades de sesiones y paquetes en 10G, la eficiencia del análisis es primordial. Un único analizador puede tener un efecto perjudicial en el sistema y generar finalmente pérdidas de paquetes. Las pruebas realizadas para la captura 10G incluyeron analizadores de base y combinaciones de feeds, reglas y otro contenido accesibles mediante RSA Live. Tanto para un cliente que actualiza un sistema actualmente implementado como para uno que implementa un sistema nuevo, la recomendación es usar las siguientes mejores prácticas para minimizar el riesgo de pérdida de paquetes. Preste atención si actualiza una implementación actual de 10G, pero no agrega tráfico adicional. Por ejemplo, un Decoder actual que captura de una tarjeta 10G a 2G constantes no debería percibir una diferencia en el rendimiento, a menos que parte de la actualización también implique agregar tráfico adicional para la captura.

Mejores prácticas de 10G

1. Incorpore analizadores de base (excepto SMB/Webmail, los cuales generalmente tienen una alta utilización del CPU) y compruebe que la pérdida de paquetes sea escasa o nula.

2. Cuando agregue analizadores adicionales, agregue solo uno o dos por vez.

3. Mida el impacto en el rendimiento del contenido recientemente agregado, en especial durante periodos de máximo tráfico.

• Si se comienzan a producir pérdidas en circunstancias en que antes no se producían, deshabilite todos los analizadores recientemente agregados, habilite solo uno por vez y mida el impacto. Esto ayuda a detectar analizadores individuales que tienen efectos perjudiciales en el rendimiento. Tal vez sea posible reestructurarlos para que tengan un mejor funcionamiento o reducir su conjunto de funciones solo a aquellas que son necesarias para el caso de uso del cliente.

• Aunque tienen impactos menores en el rendimiento, los feeds también se deben revisar y agregar en etapas con el fin de medir su impacto.

• Las reglas de aplicaciones también tienden a tener un impacto mínimo observable, pero es mejor no agregar una gran cantidad de ellas de una sola vez sin medir su impacto en el rendimiento.

Finalmente, la aplicación de los cambios recomendados en la configuración, los cuales se describen en la sección Configuración, ayudará a minimizar los posibles problemas

Instrucciones de instalación del BIOS

1. Descargue el BIOS v2.2.3 desde la siguiente ubicación:

http://www.dell.com/support/home/us/en/19/Drivers/DriversDetails?driverId=V7P04

2. Descargue el archivo Update Package for Red Hat Linux.

3. Copie el archivo en el servidor de Security Analytics.

4. Inicie sesión como raíz.

5. Cambie los permisos en el archivo a ejecutar.

6. Ejecute el siguiente archivo:

./BIOS_V7P04_LN_2.2.3.BIN

7. Cuando la operación finalice, el sistema solicitará un reinicio.

Nota: El procedimiento de instalación del BIOS tarda aproximadamente 10 minutos.

Actualizar Decoder 10G

1. Actualice el dispositivo Decoder a la versión 10.6, incluidos todos los parches del SO. La versión mínima del parche de seguridad aplicado es RSA Security Analytics versión 10.6. Esta versión requiere el paquete de kernel de Linux:

kernel- 2.6.32-573.12.1.el6.x86_64, que corresponde a la versión del kernel de RSA Security Analytics versión 10.6.

2. Asegúrese de que las versiones de kernel, pfring y numactl sean las siguientes:

kernel- 2.6.32-573.12.1.el6.x86_64

pfring-6.0.3-8598.2.6.32.573.12.1.el6.x86_64.rpm

numactl-2.0.9-2.el6 .x86_64.rpm

Instalar Decoder 10G

Descargar la versión más reciente del paquete pfring rpm desde smcupdate

pfring-6.0.3-8598.2.6.32.573.12.1.el6.x86_64.rpm

Para obtener más información, consulte RSA SecurCare: https://knowledge.rsasecurity.com.

2. Mediante el protocolo SSH, instale los paquetes con el siguiente comando cuando los archivos se hayan copiado con scp en Decoder:

rpm -ivh pfring*

Nota: NOTA: asegúrese de realizar las siguientes comprobaciones:

a. Compruebe el rpm el6 mediante el siguiente comando:

rpm –qa |grep numactl*

b. Compruebe para asegurarse de que la versión sea numactl-2.0.9-2.el6 .x86_64.rpm

Nota: Si el paso de actualización anterior se realiza antes de la actualización del BIOS, es necesario realizar los siguientes pasos:

• Desinstale los paquetes mediante el comando rpm –e.

• Actualice el BIOS a v2.2.3

• Ejecute comandos rpm para volver a instalar los paquetes necesarios.

3. Asegúrese de que las versiones de kernel, pfring y numactl sean las siguientes:

kernel- 2.6.32-573.12.1.el6.x86_64

pfring-6.0.3-8598.2.6.32.573.12.1.el6.x86_64.rpm

numactl-2.0.9-2.el6 .x86_64.rpm

4. Reinicie el dispositivo Decoder (se requiere un reinicio completo del sistema para asegurarse de que los controladores pf_ring se carguen correctamente).

5. Cuando Decoder se reinicia, puede verificar si la instalación se realizó correctamente si ve interfaces PFRINGZC adicionales disponibles en las opciones de Interfaz de captura seleccionada (se muestra a continuación).

Configurar Decoder 10G

Después de la actualización, realice los siguientes pasos para configurar Decoder 10G:

1. En la vista Explorador de Decoder, haga clic con el botón secundario en Decoder y seleccione Propiedades.

2. En el menú desplegable Propiedades, seleccione reconfig e ingrese los siguientes parámetros:

update=1 op=10g

3. En la vista Explorador de Decoder, haga clic con el botón secundario en database y seleccione Propiedades.

4. En el menú desplegable Propiedades, seleccione reconfig e ingrese los siguientes parámetros que se muestran en la siguiente captura de pantalla:

update=1 op=10g

5. Seleccione el adaptador de puertos de captura. Las opciones incluyen:

a. Captura de un único puerto: PFRINGZC,p1p1 o PFRINGZC,p1p2

b. Captura de ambos puertos:

i. Seleccione PFRINGZC,P1P1

ii. En la vista Explorador, configure capture.device.params = device=zc:p1p2,zc:p1p1

c. Asegúrese de que el hardware de captura seleccionado esté en el nodo NUMA correcto.

Desde una sesión del protocolo SSH al dispositivo, ejecute la siguiente declaración:

cat /sys/class/net/<interface_name>/device/numa_node

donde <interface_name> es la interfaz de captura seleccionada (por ejemplo, p1p1).

Si el resultado es 0 (cero), no se requiere ninguna configuración adicional.

Si no es así, agregue el resultado como el parámetro core a los parámetros de captura, como se muestra a continuación:

/decoder/config/capture.device.params: core=1

Este cambio requiere el reinicio del servicio.

Nota: NOTA: según la configuración de hardware, los puertos de captura se pueden identificar con un nombre distinto de p1p1/p1p2, pero siempre tendrán el prefijo PFRINGZC. Por ejemplo, en algunos dispositivos, estos puertos se pueden identificar como eth4 / eth5. Para capturar desde eth4, seleccione PFRINGZC,eth4. Para capturar desde eth5, seleccione PFRINGZC,eth5.

6. Si el hilo de ejecución de escritura tiene problemas para mantener la velocidad de la captura, puede intentar lo siguiente:

Cambie /datebase/config/packet.integrity.flush a normal.

Nota: puede intentar ajustar packet.file.size a un valor mayor, pero debe mantener el tamaño del archivo en menos de 10 GB, ya que el archivo completo se coloca en el buffer en la memoria a estas velocidades.

7. (Opcional) El análisis de aplicaciones consume mucho CPU y puede hacer que Decoder pierda paquetes. Para moderar las pérdidas inducidas por el análisis de aplicaciones, el ajuste /decoder/config/assembler.parse.valve se puede configurar en true. Esto dará lugar a lo siguiente:

• Cuando el análisis de sesiones se transforme en un cuello de botella, los analizadores de aplicación (HTTP, SMTP, FTP, etc.) se deshabilitarán temporalmente.

• Las sesiones no se pierden cuando se deshabilitan los analizadores de aplicación, solo la fidelidad del análisis ejecutado en ellas.

• Las sesiones analizadas con los analizadores de aplicación deshabilitados tendrán metadatos de red asociados (analizador de RED).

• La estadística /decoder/parsers/stats/blowoff.count muestra el conteo de todas las sesiones que no se sometieron a los analizadores de aplicación (el análisis de red se ejecuta de todos modos).

• Cuando el análisis de sesiones deja de ser un posible cuello de botella, los analizadores de aplicación se vuelven a habilitar automáticamente.

8. El pool de sesiones del ensamblador debe ser lo suficientemente grande de modo que las sesiones no se fuercen.

• Se puede determinar si las sesiones se están forzando con la estadística /decoder/stats/assembler.sessions.forced (que irá en aumento) y /decoder/stats/assembler.sessions, que estará dentro de varios cientos de /decoder/config/assembler.session.pool.

• El sitio de pruebas de RSA Security usó la siguiente configuración a un poco menos de 10G:

/decoder/config/assembler.session.pool se configuró en 1,000,000

y /decoder/stats/assembler.sessions promediaría 630,000.

Se puede usar un método alternativo a los pasos del 1 al 4 enumerados anteriormente para configurar Decoder 10G mediante la ejecución de los pasos 1, 2, 3 y 4 que se explican a continuación. Si se usa este método, los pasos del 5 al 8 enumerados anteriormente son obligatorios.

1. Actualice la configuración de pools de sesiones y paquetes a los siguientes valores (bajo /decoder/config):

a. pool.packet.pages = 1000000

b. pool.session.pages = 300000

2. El tamaño del bloque de escritura de paquetes bajo (/database/config/packet.write.block size) se debe configurar exactamente en 4 GB o, para la versión 10.6+, se debe usar filesize.

Nota: Esto configura el Decoder para que coloque en el búfer el archivo con páginas gigantes y escriba mediante I/O directos para lograr el máximo rendimiento.

3. Actualice la configuración de los hilos de ejecución de análisis a los siguientes valores (bajo /decoder/config).

a. parse.threads =12

4. Seleccione el adaptador de puertos de captura. Las opciones incluyen:

a. Captura de un único puerto: PFRINGZC,p1p1 o PFRINGZC,p1p2

b. Captura de ambos puertos:

i. Seleccione PFRINGZC,P1P1

ii. En la vista Explorador, configure set capture.device.params = capture=zc:p1p2,zc:p1p1

Nota: según la configuración de hardware, los puertos de captura se pueden identificar con un nombre distinto de p1p1/p1p2, pero siempre tendrán el prefijo PFRINGZC. Por ejemplo, en algunos dispositivos, estos puertos se pueden identificar como eth4 / eth5. Para capturar desde eth4, seleccione PFRINGZC,eth4. Para capturar desde eth5, seleccione PFRINGZC,eth5.

Consideraciones de almacenamiento

Cuando se captura a velocidades de línea de 10G, el sistema de almacenamiento que aloja las bases de datos de paquete y metadatos debe tener capacidad para un rendimiento de escritura sostenido de 1,400 MB/s. A continuación, se describen las opciones compatibles para configuraciones de DAC y SAN.

Uso del hardware serie 4S (con dos o más unidades de DAC)

La unidad principal de Decoder está equipada con una tarjeta controladora SAS de RAID por hardware que proporciona conectividad a la DAC. En la configuración de la mayoría de las implementaciones, las DAC están conectadas en serie a un único puerto de la tarjeta SAS. Para lograr compatibilidad con ambientes de mayor velocidad, se requiere un mínimo de dos DAC por Decoder y cada una debe estar conectada directamente a la tarjeta SAS. Para ajustar dos DAC, conecte la primera a un puerto de la tarjeta SAS y, a continuación, conecte otra al otro puerto de la tarjeta SAS. Para los ambientes con más de dos DAC, conéctelas a cada puerto de manera balanceada. Esto puede requerir el recableado de las DAC en una implementación existente, pero no debería afectar a los datos que ya se capturaron en Decoder.

Si agrega nueva capacidad, use el script NwMakeArray actualmente disponible para aprovisionar las unidades de DAC. El script agrega automáticamente una DAC por ejecución (es decir, si se agregan tres DAC, el script se debe ejecutar tres veces) y las agrega a la configuración de NwDecoder10G como puntos de montaje por separado. Los puntos de montaje independientes son importantes, ya que permiten a NwDecoder10G segregar los I/O de escritura de captura de los I/O de lectura necesarios para cumplir con solicitudes de contenido de paquetes.

Uso del almacenamiento SAN

Decoder permitirá cualquier configuración de almacenamiento que pueda cumplir con el requisito de rendimiento continuo. Tenga en cuenta que el vínculo FC de 8 Gbit estándar a una SAN no es suficiente para leer y escribir datos de paquetes a 10G, razón por la cual es necesario que los ambientes que utilizan una SAN configuren la conectividad a esta mediante el uso de varios vínculos FC.

Agregación de un Decoder 10G a otros componentes de Security Analytics

La versión inicial ofrece compatibilidad con la agregación desde Packet Decoder a Concentrator. Se espera que las implementaciones que usan Malware Analytics, Event Stream Analysis, Warehouse Connector y Reporting Engine afecten el rendimiento y puedan causar una pérdida de paquetes. Debido al alto volumen de tasas de sesiones, se recomienda aplicar los siguientes cambios en la configuración:

• Una agregación de tipo nice en Concentrator limitó el impacto en el rendimiento en Decoder 10G

/concentrator/config/aggregate.nice = true

• Debido al alto volumen de sesiones en Concentrator, puede considerar la activación del modo “valores paralelos” en Concentrator con la configuración de /sdk/config/parallel.values en true. Esto mejorará el rendimiento de las investigaciones cuando la cantidad de sesiones por segundo sea mayor que 30,000.

• Se requerirá una revisión adicional del contenido y el análisis en aquellas implementaciones en las cuales se desee el uso de otros componentes de SA (es decir, Warehouse, Malware Analysis, ESA y Reporting Engine).

Un Decoder 10G puede gestionar la agregación a un único Concentrator mientras se ejecuta a velocidades de 10G. 

  1. Concentrator agrega entre 45,000 y 70,000 sesiones/s.
  2. El Decoder 10G captura entre 40,000 y 50,000 sesiones/s.
    Con el contenido antes identificado, esto equivale aproximadamente a entre 1.5 y 2 millones de metadatos/s.
  3. Active la agregación de tipo nice en Concentrator para limitar el impacto en el rendimiento en el Decoder
    /concentrator/config/aggregate.nice=true
  4. Debido al alto volumen de sesiones en Concentrator, puede considerar la activación del modo valores paralelos en Concentrator con la configuración de /sdk/config/parallel.values en true. Esto mejorará el rendimiento de las investigaciones cuando la cantidad de sesiones por segundo sea mayor de 30,000.

Si se requieren múltiples flujos de agregación, la agregación desde el Concentrator tendría un menor impacto en el Decoder.

Análisis a altas velocidades

Obviamente, el análisis de paquetes crudos a altas velocidades presenta retos únicos. Dadas las altas tasas de sesiones y paquetes, la eficiencia del análisis es primordial. Un único analizador ineficiente (que tarde demasiado en examinar los paquetes) puede retrasar el sistema completo hasta el punto en que los paquetes se pierden en la tarjeta. Para las pruebas iniciales de 10G, comience solo con analizadores nativos (excepto SMB/WebMail). Use los analizadores nativos para establecer el rendimiento de base y con una pérdida de paquetes mínima o nula. No descargue contenido de Live hasta que se haya hecho esto y se compruebe que el sistema captura sin problema a altas velocidades.

Una vez que el sistema haya estado operacional y en ejecución correcta, se debe agregar contenido de Live de manera muy lenta, en especial los analizadores. Los analizadores pueden afectar considerablemente el rendimiento. Las siguientes son algunas reglas generales:

Contenido de Live probado

Todos los analizadores siguientes (no cada uno de ellos) se pueden ejecutar a 10G en nuestro conjunto de datos de prueba:

  • Contenido de MA (siete analizadores Lua, un feed y una regla de aplicación)
  • Cuatro feeds (alert ids info, nwmalwaredomains, warning y suspicious)
  • 41 reglas de aplicación
  • DNS_verbose_lua (inhabilitar DNS)
  • fingerprint_javascript_lua
  • fingerprint_pdf_lua
  • fingerprint_rar_lua
  • fingerprint_rtf_lua
  • MAIL_lua (inhabilitar MAIL)
  • SNMP_lua (inhabilitar SNMP)
  • spectrum_lua
  • SSH_lua (inhabilitar SSH)
  • TLS_lua
  • windows_command_shell
  • windows_executable

NO PROBADOS:

  • SMB_lua, SMB nativo inhabilitado de manera predeterminada
  • html_threat

OTROS:

HTTP_lua, reduce la velocidad de captura de más de 9G a menos de 7G. A un poco menos de 5G, este analizador se puede usar en lugar del nativo sin pérdidas (además de la lista anterior). xor_executable llevará el CPU de análisis al 100 % y puede haber pérdidas significativas en el sistema en ese momento debido al respaldo del análisis.

You are here
Table of Contents > Procedimientos adicionales > Configurar la funcionalidad 10G

Attachments

    Outcomes