Reporting Engine:Warehouseデータ ソースの追加

Document created by RSA Information Design and Development on Apr 20, 2018
Version 1Show Document
  • View in full screen mode
 

Reporting Engineの構成後、データを抽出してレポートとアラートを生成できるように、Warehouseデータ ソースをReporting Engineに追加する必要があります。Warehouseをデータ ソースとして構成する手順は異なります。

Warehouseをデータ ソースとしたReporting Engineの構成

前提条件

Warehouseデータ ソースのデータを使用してレポートとアラートを生成できるようになるには、次のWarehouse構成を実行する必要があります。

  • WarehouseをReporting Engineにデータ ソースとして追加する
  • Warehouseデータ ソースをデフォルト ソースに設定する

前提条件

以下の項目について確認します。

  • HiveサーバがすべてのWarehouseノードで実行状態になっていることを確認します。Hiveサーバのステータスは次のコマンドを使用して確認できます。
    status hive2 (MapR deployments)
    service hive-server2 status (Horton Works deployments)
  • Warehouse導入環境にデータを書き込むようにWarehouse Connectorが構成されていることを確認します。
  • Kerberos認証がHiveServer2に対して有効になっている場合は、キータブ ファイルがReporting Engineホストの/var/netwitness/re-server/rsa/soc/reporting-engine/ディレクトリにコピーされていることを確認します。

    注:rsasocユーザのロールにキータブ ファイルを読み取るための読み取り権限があることを確認します。詳細については、「データ ソースの権限の構成」を参照してください。

    また、Reporting Engineの[サービス]の[構成]ビューで[Kerberosキータブ ファイル]パラメータのキータブ ファイルの場所を更新します。詳細については、「[全般]タブ」を参照してください。

Horton Worksデータ ソース(HDP)をReporting Engineに関連づけるには、次のステップを実行します。

注:必ずhive-jdbc-1.2.1-with-full-dependencies.jarをダウンロードしてください。このjarには、Reporting Engine for Hive 1.2.1 Hiveserver2に接続するHive 1.2.1のドライバ ファイルが含まれています。RSA Link(https://community.rsa.com/docs/DOC-67251)から入手できます

  1. sshでNetWitness Suiteサーバに接続します。
  2. /opt/rsa/soc/reporting-engine/plugins/フォルダで、次のjarファイルをバックアップします。
    hive-jdbc-0.12.0-with-full-dependencies.jarまたはhive-jdbc-1.0.0-mapr-1508-standalone.jar
  3. 次のjarを削除します。
    hive-jdbc-0.12.0-with-full-dependencies.jarまたはhive-jdbc-1.0.0-mapr-1508-standalone.jar
  4. /opt/rsa/soc/reporting-engine/pluginsフォルダで、WinSCPを使用して次のjarをコピーします。
    hive-jdbc-1.2.1-with-full-dependencies.jar
  5. Reporting Engineサービスを再起動します。
  6. NetWitness Suite UIにログインします。
  7. Reporting Engineサービスを選択し、>[表示]>[エクスプローラ]を選択します。
  8. hiveConfigで、EnableSmallSplitBasedSchemaLiteralCreationパラメータtrueに設定します。

手順

Warehouseデータ ソースをReporting Engineに関連づけるには、次のステップを実行します。

  1. 管理]>[サービス]を選択します。
  2. サービス]グリッドで、Reporting Engineサービスを選択します。
  3. >[表示]>[構成]をクリックします。
  4. ソース]タブをクリックします。

    Reporting Engineの[ソース]タブが開いた状態で、[サービス]の[構成]ビューが表示されます。

  5. をクリックして[新しいサービス]を選択します。

    新しいサービス]ダイアログが表示されます。

  6. ソース タイプ]ドロップダウン メニューで、[Warehouse]を選択します。
  7. Warehouseソース]ドロップダウン メニューで、Warehouseデータ ソースを選択します。 
  8. 名前]フィールドに、Warehouseデータ ソースの名前を入力します。
  9. HDFSパス]フィールドに、Warehouse Connectorがデータを書き込む場所となるHDFSのルート パスを入力します。

    例:
    Warehouse ConnectorにNFSマウントを実行したときに構成したHDFSのローカル マウント ポイントが/sawである場合の例を示します。詳細については、「RSA Analytics Warehouse(MapR)構成ガイド」の「Warehouse ConnectorへのWarehouseのマウント」を参照してください。

    /saw内にIonsaw01という名前のディレクトリを作成し、対応するローカル マウント パスを/saw/Ionsaw01と指定している場合は、対応するHDFSルート パスが/Ionsaw01になります。

    /sawマウント ポイントでは、「/」がHDFSのルート パスになります。Warehouse Connectorは、HDFSの/Ionsaw01にデータを書き込みます。このパスに使用可能なデータがない場合、次のエラーが表示されます。

    “No data available. Check HDFS path”

    テスト接続を実行する前に、/lonsaw01/rsasoc/v1/sessions/metaにメタ データのavroファイルが存在することを確認してください。

  10. 高度な設定を使用するために[詳細設定]チェックボックスをオンにし、HiveServer2に接続するための完全なJDBC URLを[データベースURL]に入力します。

    例:
    KerberosがHiveで有効になっている場合のJDBC URLは、次のようになります。

    jdbc:hive2://<host>:<port>/<db>;principal=<Kerberos serverprincipal>

    SSLがHiveで有効になっている場合のJDBC URLは、次のようになります。

    jdbc:hive2://<host>:<port>/<db>;ssl=true;sslTrustStore=<trust_store_path>;trustStorePassword=<trust_store_password>

    HIVEサーバ クライアントの詳細については、https://cwiki.apache.org/confluence/display/Hive/HiveServer2+Clientsを参照してください。

  11. 高度な設定を使用していない場合は、[ホスト]と[ポート]に値を入力します。

    • ホスト]フィールドに、HiveServer2が実行されているホストのIPアドレスを入力します。

      注:クラスタ内のすべてのノードでHiveServer2が実行されている場合にのみ、Maprの仮想IPアドレスを使用できます。

    • ポート]フィールドに、Warehouseデータ ソースのHiveServer2ポートを入力します。デフォルトのポート番号は10000です。
  12. ユーザ名]と[パスワード]フィールドに、HiveServer2へのアクセスに使用するJDBC認証情報を入力します。

    注:Active Directoryを使用して、LDAPモードの認証を使用することもできます。LDAP認証モードを有効化する手順については、「LDAP認証の有効化」を参照してください。

  13. Warehouse Analyticsレポートを実行するには、「レポート用Warehouseデータ ソースの構成」の「レポート用Warehouseデータ ソースの構成」を参照してください。
  14. Kerberos認証を有効化します。「レポート用Warehouseデータ ソースの構成」の「レポート用Warehouseデータ ソースの構成」を参照してください。
  15. 追加したWarehouseデータ ソースをReporting Engineのデフォルト ソースに設定する場合は、追加したWarehouseデータ ソースを選択して、をクリックします。

結果

ジョブの有効化

Warehouse Analyticsレポートを実行するには、この手順を実行します。

  1. ジョブの有効化]チェックボックスを選択します。

    Pivotal Warehouseの構成

  2. 各フィールドで、以下のように入力します。

    1. HDFSタイプ]ドロップダウン メニューで、HDFSのタイプを選択します。

      • Horton Worksタイプを選択する場合は、次の情報を入力します。

                                                           
        フィールド説明

        HDFSユーザ名

        Reporting EngineがHorton Worksに接続するときに使用するユーザ名を入力します。標準的なHorton Works DCAクラスタの場合、「gpadmin」になります。
        HDFS名HDFSにアクセスするためのURLを入力します。たとえば、「hdfs://hdm1.gphd.local:8020」と入力します。

        HBase Zookeeperクォーラム

        ZooKeeperサーバを実行しているホスト名のリストをコンマ区切りで入力します。
        HBase ZookeeperポートZooKeeperサーバのポート番号を入力します。デフォルト ポートは2181です。

        入力パスのプレフィックス

        Warehouse Connectorの出力パス(/sftp/rsasoc/v1/sessions/data/<year>/<month>/<date>/<hour>)をyearディレクトリの前まで入力します。

        例:/sftp/rsasoc/v1/sessions/data/

        出力パスのプレフィックスデータ サイエンス ジョブの結果が格納されるHDFS内の場所を入力します。

        Yarnホスト名

        DCAクラスタ内のHadoop YARNリソース マネージャ ホスト名を入力します。

        たとえば、hdm3.gphd.localなどです

        ジョブ履歴サーバ

        DCAクラスタのHadoopジョブ履歴サーバのアドレスを入力します。

        たとえば、hdm3.gphd.local:10020などです

        Yarnステージング ディレクトリ

        DCAクラスタ内のYARNのステージング ディレクトリを入力します。

        たとえば/userなどです。

        Socksプロキシ

        SOCKSプロキシのアドレスを入力します。標準のDCAクラスタを使用している場合、大半のHadoopサービスは、Reporting Engineからアクセスできないローカルのプライベート ネットワークで実行されます。次に、DCAクラスタでsocksプロキシを実行し、クラスタ外部からのアクセスを許可する必要があります。

        たとえば、mdw.netwitness.local:1080などです。

      • MapR HDFSタイプを選択する場合は、次の情報を入力します。

                                                       
        フィールド説明
        MapRホスト名

        任意のMapR WarehouseホストのパブリックIPアドレスIPアドレスを入力できます。

        MapRホスト ユーザクラスタに対してmap-reduceジョブを実行するためのアクセス権を持つ、特定のホストにおけるUNIXユーザの名前を入力します。デフォルト値は「mapr」です。
        MapRホスト パスワード(オプション)パスワードレス認証を構成するには、/home/rsasoc/.ssh/id_rsa.pubから「rsasoc」ユーザーのパブリック キーをWarehouseホストの/home/mapr/.ssh/authorized_keysにある「authorized_keys」ファイルにコピーします(「mapr」はリモートのUNIXユーザーです)。
        MapRホスト作業ディレクトリ

        特定のUNIXユーザ(たとえば「mapr」)が書き込みアクセスできるパスを入力します。

        注:作業ディレクトリは、Reporting EngineがWarehouse Analytics jarファイルを指定されたホストにコピーし、ジョブを開始するために使用されます。システムの一時領域がフルになるのを避けるために「/tmp」を使用しないでください。指定された作業ディレクトリはReporting Engineによってリモートから管理されます。

        HDFS名HDFSにアクセスするためのURLを入力します。たとえば、特定のクラスタにアクセスするには、「maprfs:/mapr/<cluster-name>」と入力します。
        HBase ZookeeperポートZooKeeperサーバのポート番号を入力します。デフォルトのポートは5181です。

        入力パスのプレフィックス

        出力パス(/rsasoc/v1/sessions/data/<year>/<month>/<date>/<hour>)をyearディレクトリの前まで入力します。

        例:/rsasoc/v1/sessions/data/

        入力ファイル名avroファイルのファイル名フィルタを入力します。たとえば、sessions-warehouseconnectorなどです。
        出力パスのプレフィックスデータ サイエンス ジョブの結果が格納されるHDFS内の場所を入力します。
    2. HDFSタイプに従ってMapReduceフレームワークを選択します。

      注:MapR HDFSタイプの場合は、MapReduceフレームワークを従来型として選択します。Pivotal HDFSタイプの場合は、MapReduceフレームワークをYarnとして選択します。

次に、Kerberos認証を有効にします。

Kerberos認証の有効化

  1. WarehouseにKerberos対応のHiveサーバがある場合は、[Kerberos認証]チェックボックスを選択します。

  2. 各フィールドで、以下のように入力します。

                           
    フィールド説明

    サーバ プリンシパル

    KerberosKDC(Key Distribution Center)サーバでの認証にHiveサーバによって使用されるプリンシパルを入力します。

    ユーザ プリンシパルHiveサーバへの接続の際にKDCサーバに対して認証するためにHive JDBCクライアントが使用するプリンシパルを入力します。たとえば、「gpadmin@EXAMPLE.COM」と入力します。

    Kerberosキータブ ファイル

    Reporting Engineの[全般]タブで、Hiveの[構成]パネルで構成されているKerberosキータブ ファイルの場所を表示します。

    注:Reporting Engineでは、同一のKerberos認証情報(ユーザ プリンシパルやキータブ ファイルなど)で構成されたデータ ソースのみがサポートされます。

  3. 接続のテスト]をクリックし、入力した値で接続をテストします。
  4. 保存]をクリックします。

    追加したWarehouseデータ ソースがReporting Engineの[ソース]タブに表示されます。

  5. >[使用可能なサービス]をクリックします。

    [使用可能なサービス]ダイアログ ボックスが表示されます。

  6. [使用可能なサービス]ダイアログ ボックスで、データ ソースとしてReporting Engineに追加するサービスを選択し、[OK]をクリックします。

    NetWitness Suiteにより、このReporting Engineに対するレポートおよびアラートに使用できるデータ ソースとしてこれが追加されます。

    Reporting Engineの[ソース]タブのWarehouse構成。

    注:このステップは、Untrustedモデルにのみ関係します。

データ ソースをデフォルト ソースに設定

特定のデータ ソースをデフォルト ソースに指定するには、次の手順を実行します。

  1. メイン メニューで、[ダッシュボード]>[管理]>[サービス]を選択します。
  2. サービス]グリッドで、Reporting Engineサービスを選択します。
  3. >[表示]>[構成]を選択します。

    Reporting Engineの[サービス]の[構成]ビューが表示されます。

  4. ソース]タブを選択します。

    Reporting Engineの[ソース]タブが開いた状態で、[サービス]の[構成]ビューが表示されます。

  5. デフォルト ソースに指定するソースを選択します(たとえばBroker)。
  6. デフォルトの設定]チェックボックスをオンにします。

    このReporting Engineに対するレポートとアラートを作成する場合、NetWitness Suiteはこのデータ ソースをデフォルトとして使用します。

NetWitness Suiteにより、このReporting Engineに対するレポートおよびアラートに使用できるデータ ソースとしてWarehouseが追加されます。

You are here
Table of Contents > Reporting Engine:Warehouseデータ ソースの追加

Attachments

    Outcomes