Warehouse Connectorの概要

Warehouse Connectorは、メタやイベントをDecoderおよびLog Decoderから収集して、Hadoopベースの分散コンピューティング システムにAVRO形式で書き込みます。Warehouse Connectorは、既存のLog DecoderまたはDecoder上のサービスとして設定することができます。

Warehouse Connectorには、次のコンポーネントが含まれます。

• データ ソース
• 宛先
• データ ストリーム

データ ソース

データ ソースとは、Warehouse Connectorが宛先に格納するデータを収集するサービスです。サポートされるデータ ソースは、Log DecoderとDecoderのサービスです。Log Decoderはログ イベントのみを、Decoderはパケットとメタを収集します。

宛先

宛先は、セキュリティ情報のレポートの収集、管理、有効化を行うためのHadoopベースの分散コンピューティング システムです。サポートされる宛先は次のとおりです。

• RSA NetWitness Warehouse（MapR）環境
• HortonWorksデータ プラットフォーム
• WebHDFSまたはNFSでマウント可能なHDFSファイル システムが構成されているHadoopベースの分散コンピューティング システム 
  • 例：商用MapR M5 Enterprise Edition for Apache Hadoop

データ ストリーム

データ ストリームは、データ ソースと宛先の論理的な接続です。収集されたデータの異なるサブセットに応じて複数のストリームを使用できます。複数のストリームを設定することで、DecoderとLog Decoderの複数のサービスからのデータを分けて管理できます。複数のデータ ソースと1つの宛先を使用したストリーム、または1つのデータ ソースと宛先を使用したストリームを作成できます。

Warehouse Connectorは次を実行します。

• DecoderとLog Decoderからの生のセッション データやログ データを集計する。
• サポートされている宛先（Hadoopベースの環境など）に集計データを転送する。
• スキーマとデータの両方を含む集計データをAVRO形式にシリアライズする。

さらに、Warehouse Connectorは次もサポートします。

メタ フィルタ

メタ フィルタにより、Warehouseに書き込む必要があるメタ キーをフィルタできます。詳細については、「ストリームのメタ フィルタの指定」を参照してください。-

複数値メタ キーのサポート

RSA NetWitness Warehouseでは、複数値メタ キーがサポートされています。複数値メタ キーとは、配列タイプのメタ フィールドです。メタ キー ライブラリを使用して配列タイプのメタ フィールドを決定し、正しい配列構文を使ってHIVEクエリを記述することができます。デフォルトでは、次のメタ キーは複数値として扱われ、Warehouse Connectorの/etc/netwitness/ngにあるファイルmultivalue-bootstrap.xmlで定義されます。

• alias.host
• action
• username
• alias.ip
• alias.ipv6
• email

• device.group

• event.class

チェックサム検証

Warehouse Connectorでは、Warehouse Connectorからデータの宛先に転送されるAVROファイルの整合性を検証できます。Warehouse Connectorの構成で、チェックサム検証を有効にする必要があります。

Lockboxのサポート

Lockboxは、Warehouse Connectorが機微データの格納と保護に使用する暗号化ファイルを提供します。Warehouse Connectorを最初に構成するときに、Lockboxのパスワードを指定して、Lockboxを作成する必要があります。

Warehouse Connectorは、既存のLog DecoderまたはDecoderホスト上のサービスとしてWarehouse Connectorを設定することで実装できます。 

次に、Log DecoderまたはDecoderでのWarehouse Connectorサービスのインストールと構成、NetWitnessでのWarehouse Connectorサービスの構成、Warehouse Connectorのデータ ソース、宛先、ストリームの構成、NetWitnessでのアラート通知の構成を行うプロセス全体の概要を示します。

Warehouse Connectorサービスをインストールおよび構成するには、次を実行します。

1. Log DecoderまたはDecoderへのWarehouse Connectorサービスのインストール
2. Warehouse Connectorサービスの構成
3. Warehouse Connectorのデータ ソースの構成
4. 宛先の構成
5. ストリームの構成
6. Warehouse Connectorの監視
7. Reporting EngineへのWarehouseデータ ソースの追加
8. Warehouse Reportの分析
9. ストリームとLockboxの管理