Warehouse Connectorは、メタやイベントをDecoderおよびLog Decoderから収集して、Hadoopベースの分散コンピューティング システムにAVRO形式で書き込みます。Warehouse Connectorは、既存のLog DecoderまたはDecoder上のサービスとして設定することができます。
Warehouse Connectorには、次のコンポーネントが含まれます。
- データ ソース
- 宛先
- データ ストリーム
データ ソース
データ ソースとは、Warehouse Connectorが宛先に格納するデータを収集するサービスです。サポートされるデータ ソースは、Log DecoderとDecoderのサービスです。Log Decoderはログ イベントのみを、Decoderはパケットとメタを収集します。
宛先
宛先は、セキュリティ情報のレポートの収集、管理、有効化を行うためのHadoopベースの分散コンピューティング システムです。サポートされる宛先は次のとおりです。
- RSA NetWitness Warehouse(MapR)環境
- HortonWorksデータ プラットフォーム
- WebHDFSまたはNFSでマウント可能なHDFSファイル システムが構成されているHadoopベースの分散コンピューティング システム
- 例:商用MapR M5 Enterprise Edition for Apache Hadoop
データ ストリーム
データ ストリームは、データ ソースと宛先の論理的な接続です。収集されたデータの異なるサブセットに応じて複数のストリームを使用できます。複数のストリームを設定することで、DecoderとLog Decoderの複数のサービスからのデータを分けて管理できます。複数のデータ ソースと1つの宛先を使用したストリーム、または1つのデータ ソースと宛先を使用したストリームを作成できます。
Warehouse Connectorは次を実行します。
- DecoderとLog Decoderからの生のセッション データやログ データを集計する。
- サポートされている宛先(Hadoopベースの環境など)に集計データを転送する。
- スキーマとデータの両方を含む集計データをAVRO形式にシリアライズする。
さらに、Warehouse Connectorは次もサポートします。
メタ フィルタ
メタ フィルタにより、Warehouseに書き込む必要があるメタ キーをフィルタできます。詳細については、「ストリームのメタ フィルタの指定」を参照してください。-
複数値メタ キーのサポート
RSA NetWitness Warehouseでは、複数値メタ キーがサポートされています。複数値メタ キーとは、配列タイプのメタ フィールドです。メタ キー ライブラリを使用して配列タイプのメタ フィールドを決定し、正しい配列構文を使ってHIVEクエリを記述することができます。デフォルトでは、次のメタ キーは複数値として扱われ、Warehouse Connectorの/etc/netwitness/ngにあるファイルmultivalue-bootstrap.xmlで定義されます。
- alias.host
- action
- username
- alias.ip
- alias.ipv6
-
device.group
-
event.class
チェックサム検証
Warehouse Connectorでは、Warehouse Connectorからデータの宛先に転送されるAVROファイルの整合性を検証できます。Warehouse Connectorの構成で、チェックサム検証を有効にする必要があります。
Lockboxのサポート
Lockboxは、Warehouse Connectorが機微データの格納と保護に使用する暗号化ファイルを提供します。Warehouse Connectorを最初に構成するときに、Lockboxのパスワードを指定して、Lockboxを作成する必要があります。
Warehouse Connectorは、既存のLog DecoderまたはDecoderホスト上のサービスとしてWarehouse Connectorを設定することで実装できます。
次に、Log DecoderまたはDecoderでのWarehouse Connectorサービスのインストールと構成、NetWitnessでのWarehouse Connectorサービスの構成、Warehouse Connectorのデータ ソース、宛先、ストリームの構成、NetWitnessでのアラート通知の構成を行うプロセス全体の概要を示します。
Warehouse Connectorサービスをインストールおよび構成するには、次を実行します。
- Log DecoderまたはDecoderへのWarehouse Connectorサービスのインストール
- Warehouse Connectorサービスの構成
- Warehouse Connectorのデータ ソースの構成
- 宛先の構成
- ストリームの構成
- Warehouse Connectorの監視
- Reporting EngineへのWarehouseデータ ソースの追加
- Warehouse Reportの分析
- ストリームとLockboxの管理