Decoder: Configurar la funcionalidad 10G

Document created by RSA Information Design and Development on Apr 23, 2018
Version 1Show Document
  • View in full screen mode
 

En este tema se indica a los administradores cómo ajustar específicamente un Packet Decoder para la captura de paquetes a alta velocidad con NetWitness Suite 11.0. Esto se aplica cuando se capturan paquetes en una tarjeta de interfaz 10G. La captura de paquetes a altas velocidades requiere una configuración cuidadosa y lleva el hardware de Decoder a sus límites, razón por la cual debe leer este tema completo cuando implemente una solución de captura 10G.

RSA NetWitness Suite ofrece compatibilidad con la recopilación a alta velocidad de Decoder. Puede capturar datos de paquetes de redes de mayor velocidad y optimizar su Packet Decoder para capturar tráfico de red con picos de hasta 8 Gb/s continuos y 10 Gb/s, según los analizadores y los feeds que haya activado.

Las mejoras que facilitan la captura en estos ambientes incluyen las siguientes:

  • Utilización de la funcionalidad del driver de captura pf_ring para aprovechar la tarjeta NIC Intel 10G genérica con el fin de lograr una captura a alta velocidad.
  • Introducción de la configuración assembler.parse.valve, que deshabilita automáticamente los analizadores de aplicación cuando se superan determinados umbrales con el fin de limitar el riesgo de pérdida de paquetes. Cuando se deshabilitan los analizadores de aplicación, los analizadores de capa de red permanecen activos. Cuando las estadísticas bajan de los umbrales superados, los analizadores de aplicaciones se vuelven a habilitar automáticamente.

Requisitos previos del hardware

  • Un Decoder serie 4S o serie 5
  • Una tarjeta Ethernet basada en Intel 82599, como Intel x520. Todas las tarjetas 10G que proporciona RSA cumplen con este requisito. Dos ejemplos son:
    • Todas las tarjetas de SMC-10GE que proporciona RSA.
    • Una tarjeta secundaria de red de Dell que usa una controladora Intel para proporcionar interfaces de red 10G. Esto se incluye en todo el hardware serie 5.
  • Para la serie 4S/Dell R620 solamente: 96 GB de memoria DD3-1600 en DIMM de doble rango. Los DIMM de rango único pueden disminuir el rendimiento hasta en un 10 %. Para determinar la velocidad y el rango de los DIMM instalados, ejecute este comando:
    dmidecode -t 17.
  • Almacenamiento suficientemente grande y rápido para satisfacer el requisito de captura. Las consideraciones de almacenamiento se analizan más adelante en este tema.
  • Cada Packet Decoder configurado como mínimo con dos DAC o conectividad SAN.

Requisitos previos del software

  • Los sistemas basados en Dell R620, por ejemplo, la serie 4S, deben tener su BIOS actualizado a v1.2.6 o superior.
  • La funcionalidad de Decoder 10G solo es compatible con las imágenes de instalación de Decoder que proporciona RSA. Todo el software requerido se instala de forma predeterminada.
  • Si actualiza desde una versión anterior, realice la actualización en primer lugar antes de continuar con la configuración

Instalar Decoder 10G

Nota: Puede dirigirse a “Configurar Decoder 10G” si está comenzando con el nuevo hardware serie 5.

Ejecute los siguientes pasos para instalar el Decoder 10G de NetWitness:

Descargar y actualizar el BIOS

Nota: Las revisiones de BIOS anteriores a v1.2.6 tienen problemas para identificar correctamente la ubicación de la tarjeta de captura 10G dentro del sistema. Se recomienda que los clientes actualicen al BIOS v2.2.3 más reciente, pero no es requisito para 10G si ejecutan v1.2.6 o superior.

  1. Descargue el BIOS v2.2.3 desde la siguiente ubicación:

    http://www.dell.com/support/home/us/en/19/Drivers/DriversDetails?driverId=V7P04

  2. Descargue el archivo Update Package for the Red Hat Linux.
  3. Copie el archivo en el servidor de NetWitness.
  4. Inicie sesión como root.
  5. Cambie los permisos en el archivo a ejecutar.
  6. Ejecute el siguiente archivo:

    ./BIOS_V7P04_LN_2.2.3.BIN

  7. Reinicie el sistema cuando se complete la ejecución y se solicite un reinicio.

Nota: El procedimiento de instalación del BIOS tarda aproximadamente 10 minutos.

Localizar los paquetes Decoder 10G

Los paquetes requeridos para configurar Decoder 10G deben estar presentes en la imagen de instalación de Decoder. No debe ser necesario instalar ningún paquete adicional. Los paquetes que proporcionan la funcionalidad del driver 10G son:

  • pfring-dkms-6.5.0-6.rpm
  • ixgbe-zc-4.1.5.6-dkms.noarch.rpm

Verificar que los paquetes de Decoder 10G estén instalados

La instalación de los paquetes de Decoder 10G se maneja de forma automática. Por lo tanto, no debe haber ninguna acción para habilitar la funcionalidad 10G.

  • Si actualizó los paquetes de kernel como parte de una actualización, se requiere un reinicio. El sistema operativo volverá a compilar e instalar los drivers para el kernel actualizado.
  • Puede verificar que la instalación se realizó correctamente si ve interfaces PFRINGZC adicionales disponibles al seleccionar el adaptador de puertos de captura, como se describe a continuación.

Configurar Decoder 10G

Realice los siguientes pasos para configurar Decoder 10G:

  1. En la vista Explorador de Decoder, haga clic con el botón secundario en Decoder y seleccione Propiedades.
  2. En el menú desplegable Propiedades, seleccione reconfig e ingrese los siguientes parámetros:
    update=1 op=10g
    Esto ajusta la canalización de procesamiento de paquetes de Decoder para permitir un mayor rendimiento de datos crudos, pero menos capacidad de análisis.
  3. En la vista Explorador de Decoder, haga clic con el botón secundario en database y seleccione Propiedades.
  4. En el menú desplegable Propiedades, seleccione reconfig e ingrese los siguientes parámetros:
    update=1 op=10g
    Esto ajusta la base de datos de paquetes para usar tamaños de archivos muy grandes y operaciones de I/O directas.
  5. Seleccione el adaptador de puertos de captura. Las opciones incluyen:
    • Captura de un único puerto: PFRINGZC,p1p1 o PFRINGZC,p1p2
    • Captura de ambos puertos: Seleccione PFRINGZC, P1P1 y, en la vista Explorer, configure capture.device.params = device=zc:p1p2,zc:p1p1.
  6. Si el hilo de ejecución de escritura tiene problemas para mantener la velocidad de la captura, puede intentar lo siguiente:

    Cambie /datebase/config/packet.integrity.flush a normal.

    Nota: Puede intentar ajustar packet.file.size a un valor mayor, pero debe mantener el tamaño del archivo en menos de 10 GB, ya que el archivo completo se coloca en el búfer de memoria.

  7. (Opcional) El análisis de aplicaciones consume mucho CPU y puede hacer que Decoder pierda paquetes. Para moderar las pérdidas inducidas por el análisis de aplicaciones, puede configurar /decoder/config/assembler.parse.valve en true. Estos son los resultados:

    • Cuando el análisis de sesiones se transforme en un cuello de botella, los analizadores de aplicación (HTTP, SMTP, FTP, etc.) se deshabilitarán temporalmente.
    • Las sesiones no se pierden cuando se deshabilitan los analizadores de aplicaciones, solo la fidelidad del análisis ejecutado en ellas.
    • Las sesiones analizadas con los analizadores de aplicación deshabilitados tendrán metadatos de red asociados (del analizador de red).
    • La estadística /decoder/parsers/stats/blowoff.count muestra el conteo de todas las sesiones que no se sometieron a los analizadores de aplicación (el análisis de red se ejecuta de todos modos).
    • Cuando el análisis de sesiones deja de ser un posible cuello de botella, los analizadores de aplicación se reactivan automáticamente.
    • El pool de sesiones del ensamblador debe ser lo suficientemente grande de modo que las sesiones no se fuercen.
    • Puede determinar si las sesiones se están forzando con la estadística /decoder/stats/assembler.sessions.forced (que irá en aumento). Además, /decoder/stats/assembler.sessions estará dentro de varios cientos de /decoder/config/assembler.session.pool.
  8. (Opcional) Si necesita ajustar la MTU para la captura, agregue el parámetro snaplen a capture.device.params. A diferencia de las versiones anteriores, no es necesario que snaplen se redondee hacia arriba a algún límite específico. El Decoder ajusta automáticamente la MTU configurada en las interfaces de captura.

  9. Los siguientes parámetros de configuración están obsoletos y ya no son necesarios:

    • core= parameter en capture.device.params
    • Cualquier archivo de configuración en el directorio /etc/pf_ring

    Nota: Un dispositivo Ethernet instalado después de una digitalización no requiere ninguna configuración para su uso como un dispositivo de captura. Si se usa como una interfaz de red o para que las herramientas del sistema accedan a él sin configuración manual, requiere configuración.

Parámetros de configuración habituales

A continuación se enumeran los parámetros de configuración habituales. Los parámetros reales pueden variar según la cantidad de memoria y los recursos de CPU disponibles.

  1. Ajustes de pool de sesiones y paquetes (en /decoder/config):
    • pool.packet.pages = 1,000,000
    • pool.session.pages = 300,000
  2. Tamaño del bloque de escritura de paquetes bajo (tamaño /database/config/packet.write.block) configurado en filesize.

    Nota: Esto configura el Decoder para que coloque en el búfer el archivo con páginas gigantes y escriba mediante I/O directos para lograr el máximo rendimiento.

  3. Conteo de subprocesos de análisis (en /decoder/config).

    parse.threads =12

Consideraciones de almacenamiento

Cuando se captura a velocidades de línea de 10G, el sistema de almacenamiento que aloja las bases de datos de paquete y metadatos debe tener capacidad para un rendimiento de escritura sostenido de 1,400 MB/s.

Uso del hardware serie 4S (con dos o más unidades de DAC)

La serie 4S cuenta con una controladora SAS RAID de hardware con capacidad de 48 Gbit/s agregados de rendimiento de I/O. Dispone de ocho puertos de 6 Gbit externos, organizados en dos cables SAS de 4 pistas. La configuración recomendada para 10G es balancear por lo menos dos unidades DAC en estos dos conectores externos. Por ejemplo, conecte una DAC a un puerto de la tarjeta SAS y, a continuación, otra DAC al otro puerto de la tarjeta SAS.

Para los ambientes con más de dos DAC, conéctelas a cada puerto de manera balanceada. Esto puede requerir el recableado de las DAC en una implementación existente, pero no debería afectar a los datos que ya se capturaron en Decoder.

Si agrega nueva capacidad, use el script NwMakeArray actualmente disponible para aprovisionar las unidades de DAC. El script agrega automáticamente una DAC por ejecución (es decir, si se agregan tres DAC, el script se debe ejecutar tres veces) y las agrega a la configuración de NwDecoder10G como puntos de montaje por separado. Los puntos de montaje independientes son importantes, ya que permiten a NwDecoder10G segregar las I/O de escritura de captura de las I/O de lectura necesarias para cumplir con solicitudes de contenido de paquetes.

Uso de SAN y otras configuraciones de almacenamiento

Decoder permite cualquier configuración de almacenamiento que pueda cumplir con el requisito de rendimiento sostenido. El vínculo Fibre Channel de 8 Gbit estándar a una SAN no es suficiente para almacenar datos de paquetes a 10G; para usar una SAN, puede ser necesario realizar una agregación en múltiples destinos mediante un esquema de RAID por software. Por lo tanto, para configurar la conectividad a la SAN mediante varios FC, se requieren ambientes que usen SAN.

Consideraciones de análisis y contenido

El análisis de paquetes crudos a altas velocidades presenta retos únicos. Dadas las altas tasas de sesiones y paquetes, la eficiencia del análisis es primordial. Un único analizador ineficiente (que tarde demasiado en examinar los paquetes) puede retrasar el sistema completo hasta el punto en que los paquetes se pierden en la tarjeta.

Para las pruebas iniciales de 10G, comience solo con analizadores nativos (excepto SMB/WebMail). Use los analizadores nativos para establecer el rendimiento de base y con una pérdida de paquetes mínima o nula. No descargue contenido de Live hasta que se haya hecho esto y se compruebe que el sistema captura sin problema a altas velocidades.

Una vez que el sistema haya estado operacional y en correcta ejecución, se debe agregar contenido de Live de manera muy lenta, en especial los analizadores. 

Mejores prácticas

Si actualiza un sistema actualmente implementado o implementa un sistema nuevo, la recomendación es usar las siguientes mejores prácticas para minimizar el riesgo de pérdida de paquetes. Preste atención si actualiza una implementación actual de 10G, pero no agrega tráfico adicional. Por ejemplo, un Decoder actual que captura de una tarjeta 10G a 2G constantes no debería percibir una diferencia en el rendimiento, a menos que parte de la actualización también implique agregar tráfico adicional para la captura.

  • Incorpore analizadores de base (excepto SMB/Webmail, los cuales generalmente tienen una alta utilización del CPU) y compruebe que la pérdida de paquetes sea escasa o nula.
  • Cuando agregue analizadores adicionales, agregue solo uno o dos por vez.
  • Mida el impacto en el rendimiento del contenido recientemente agregado, en especial durante periodos de máximo tráfico.
  • Si se comienzan a producir pérdidas en circunstancias en que antes no se producían, inhabilite todos los analizadores recientemente agregados, habilite solo uno por vez y mida el impacto. Esto ayuda a detectar analizadores individuales que tienen efectos perjudiciales en el rendimiento. Tal vez sea posible reestructurarlos para que tengan un mejor funcionamiento o reducir su conjunto de funciones solo a aquellas que son necesarias para el caso de uso del cliente.
  • Aunque tienen impactos menores en el rendimiento, los feeds también se deben revisar y agregar en etapas con el fin de medir su impacto.
  • Las reglas de aplicaciones también tienden a tener un impacto mínimo observable, pero, nuevamente, es mejor no agregar una gran cantidad de ellas de una sola vez sin medir su impacto en el rendimiento.

Finalmente, la aplicación de los cambios recomendados en la configuración, los cuales se describen en la sección Configuración, ayudará a minimizar los posibles problemas.

Contenido de Live probado

Todos los analizadores siguientes (no cada uno de ellos) se pueden ejecutar a 10G en el conjunto de datos de prueba utilizado:

  • Contenido de MA (7 analizadores Lua, 1 feed y 1 regla de aplicación)
  • 4 feeds (alert ids info, nwmalwaredomains, warning y suspicious)
  • 41 reglas de aplicación
  • DNS_verbose_lua (inhabilitar DNS)
  • fingerprint_javascript_lua
  • fingerprint_pdf_lua
  • fingerprint_rar_lua
  • fingerprint_rtf_lua
  • MAIL_lua (inhabilitar MAIL)
  • SNMP_lua (inhabilitar SNMP)
  • spectrum_lua
  • SSH_lua (inhabilitar SSH)
  • TLS_lua
  • windows_command_shell
  • windows_executable

NO PROBADOS:

  • SMB_lua, SMB nativo deshabilitado de manera predeterminada
  • html_threat

OTROS:

  • HTTP_lua reduce la velocidad de captura de más de 9G a menos de 7G. A un poco menos de 5G, se puede usar este analizador en lugar del nativo sin pérdidas (además de la lista anterior). 
  • xor_executable lleva la CPU de análisis al 100 % y el sistema puede disminuir considerablemente debido al respaldo del análisis.

Ajustes de agregación en función del contenido de Live probado

Un Decoder 10G puede gestionar la agregación a un único Concentrator mientras se ejecuta a velocidades de 10G. Se espera que las implementaciones que usan Malware Analysis, Event Stream Analysis, Warehouse Connector y Reporting Engine afecten el rendimiento y puedan provocar la pérdida de paquetes.

En el caso del escenario de prueba, Concentrator agrega entre 45,000 y 70,000 sesiones/s. El Decoder 10G captura entre 40,000 y 50,000 sesiones/s. Con el contenido antes identificado, esto equivale aproximadamente a entre 1.5 y 2 millones de metadatos/s. Debido al alto volumen de tasas de sesiones, se recomienda aplicar los siguientes cambios en la configuración:

  • Una agregación de tipo nice en Concentrator limita el impacto en el rendimiento en Decoder 10G. El siguiente comando activa la agregación de tipo nice.
    /concentrator/config/aggregate.nice = true
  • Debido al alto volumen de sesiones en Concentrator, puede considerar la activación del modo valores paralelos en el Concentrator mediante la configuración de /sdk/config/parallel.values en 16. Esto mejora el rendimiento de Investigation cuando la cantidad de sesiones por segundo sea mayor que 30,000.
  • Si se requieren múltiples flujos de agregación, la agregación desde el Concentrator tiene un menor impacto en el Decoder.
  • Se requerirá una revisión adicional del contenido y el análisis en aquellas implementaciones en las cuales se desee usar otros componentes de NetWitness Suite (Warehouse, Malware Analysis, ESA y Reporting Engine).

 

You are here
Table of Contents > Procedimientos adicionales de Decoder y Log Decoder > Configurar la funcionalidad 10G

Attachments

    Outcomes