Base de données Core : Fichiers manifest

Document created by RSA Information Design and Development on Feb 3, 2017
Version 1Show Document
  • View in full screen mode
  

Cette rubrique décrit les fichiers manifest et en donne un exemple pour un fichier de métabase de données. Elle décrit également la recherche du fichier manifest et en fournit un exemple.

Les fichiers manifest sont créés avec chaque fichier de base de données de sessions, de base de métadonnées et de base de données de paquets (log) et le répertoire des tranches d'index. Un fichier manifest est un fichier qui décrit plusieurs éléments d'information importants sur les données auxquelles il fait référence. Les fichiers manifest sont écrits sous la forme d'un enregistrement JSON. Ils circulent avec les données qu'ils représentent de niveau en niveau. Si les données qu'ils représentent sont supprimées, le fichier manifest est également supprimé, sauf dans le cas particulier suivant. Si le service dispose de /database/config/manifest.dir configuré dans un répertoire valide, au moment où les données du fichier manifest sont supprimées, une copie du fichier manifest est placée dans le répertoire pointé par manifest.dir (le répertoire est créé s'il n'existe pas). Cela active une fonctionnalité Security Analytics appelée recherche de l'historique des fichiers manifest.

Le but de ce processus est de conserver un historique des fichiers manifest sur des années, à un emplacement donné pour une interrogation hors ligne. Comme vous pouvez l'imaginer pour un service en cours d'exécution pendant de nombreuses années, cela peut éventuellement générer des centaines de milliers de fichiers. Cela ne devrait pas être un sujet de préoccupation, car le service compresse automatiquement les fichiers en une seule archive afin d'économiser de l'espace lorsqu'ils deviennent trop nombreux. Les fichiers manifest sont très petits et se compressent bien

Exemple de fichier manifest (meta-000000023.nwmdb.manifest) pour un fichier de base de métadonnées :

  { "filename" : "meta-000000023.nwmdb", "size" : 185153768, "fileTime" : 1403903940, "id1" : 150814110, "id2" : 159341086, "session1" : 4023382, "session2" : 4250442, "time1" : 1403903879, "time2" : 1404739851 } 
 filename = The filename for the db file the manifest represents size = The size in bytes of the db file fileTime = The time the file was created id1 = The starting id in the file (for this example, the starting meta ID) id2 = The last id in the file (for this example, the last meta ID) session1 = The starting session ID of the first meta in the file session2 = The last session ID of the last meta in the file time1 = The POSIX time of the first "time" meta found in the file time2 = The POSIX time of the last "time" meta found in the file 

Dans cet exemple de fichier manifest, les domaines les plus importants sont fileTime, time1 et time2. Les trois champs sont écrits au format de temps POSIX. time1 et time2 sont les heures de début et de fin de l'enregistrement des métadonnées dans le fichier de métabase de données meta-000000023.nwmdb. En particulier, fileTime qui désigne toujours l'heure à laquelle le fichier a été créé (et non la dernière modification). time1 et time2 représentent la plage de données avec sa valeur minimale et maximale de données analysées au sein du fichier de métabase de données. Lorsque vous effectuez des recherches dans l'historique en fonction d'une période donnée, les plages time1 et time2 sont préférées à fileTime, si disponible. Les fichiers manifest des autres bases de données et de l'index contiennent différents champs, mais tous contiennent suffisamment d'informations pour effectuer des requêtes basées sur le temps.

Effectuer une recherche dans l'historique des fichiers manifest

Lorsque les manifest sont collectés dans le répertoire pointé par manifest.dir, on suppose que les données de référence ont été copiées au niveau Cold et éventuellement sauvegardées dans le stockage hors ligne. Parce que l'historique des fichiers manifest est toujours accessible par le service, il est possible d'effectuer des requêtes sur une période sur les données hors ligne, afin de déterminer quelles données doivent être restaurées pour un intervalle de temps donné.

Vous pouvez rechercher des manifest à l'aide de la commande /database manifest :

 manifest: If a manifest directory is defined, it will allow operations on the manifest files (such as a time based query) for database files in cold storage. security.roles: database.manage parameters: op - <string, optional, {enum-one:query|compress}> The operation to perform (defaults to query) time1 - <date-time, optional> The beginning time (UTC) for matching offline database files time2 - <date-time, optional> The ending time (UTC) for matching offline database files timeFormat - <string, optional, {enum-one:posix|simple}> Specify the time format that is returned (posix, simple), default is posix 

Exemple de recherche :

/database manifest time1="2014-04-20 11:00:00" time2="2014-04-11 11:20:00" timeFormat=simple

La recherche renvoie tous les manifest qui correspondent à la requête :

  [ filename=meta-000001691.nwmdb size=4843826176 fileTime="2014-Apr-20 11:06:34" id1=301555027452 id2=301733101896 session1=15352020201 session2=15361024200 time1="2014-Apr-20 11:05:34" time2="2014-Apr-20 11:16:34" compression=gzip ] [ filename=session-000001865.nwsdb size=268439552 fileTime="2014-Apr-20 11:06:35" id1=14674145801 id2=14682041000 metaId1=288217522208 metaId2=288370660984 packetId1=11733872441 packetId2=11741745303 ] [ filename=session-000001866.nwsdb size=268439552 fileTime="2014-Apr-20 11:18:31" id1=14682041001 id2=14689936200 metaId1=288370660985 metaId2=288520616949 packetId1=11741745304 packetId2=11749618589 ] 

Les résultats renvoyés peuvent être utilisés pour corréler les fichiers devant être restaurés à partir de la sauvegarde pour l'intervalle de temps donné. Pour Security Analytics 10.4 et version ultérieure, un service appelé Security Analytics Workbench peut être utilisé pour récupérer les fichiers restaurés et fournir une interface de requête sur les données restaurées à l'aide d'une ou de plusieurs collections.

La configuration de ces services n’entre pas dans le cadre du présent document. Pour plus d’informations, reportez-vous à la section Configurer la sauvegarde et la restauration de données dans le Guide de configuration d’Archiver

You are here
Table of Contents > Configuration basique de la base de données > Fichiers manifest

Attachments

    Outcomes