éxtraire, transformer et charger (ETL)

Le processus ETL éxtraire, transformer et charger portant sur l'utilisation de la base de données combine trois fonctions de base de données qui transfèrent les données depuis une base de données dans une autre. La première étape, éxtraire, implique la lecture et l'extraction de données depuis divers systèmes source. La deuxième étape, Transformer, convertit les données de son format initial en un format accepté par la base de données cible. La dernière étape, Charger, enregistre les nouvelles données dans la base de données cible, terminant ainsi le processus de transfert de données.

Dans BigFix Inventory, l'étape éxtraire implique l'extraction de données depuis le serveur BigFix. Les données incluent des informations relatives à l'infrastructure, aux agents installés et au logiciel détecté. ETL vérifie également si le nouveau catalogue des logiciels est disponible, collecte des informations sur l'analyse de logiciels et sur les fichiers présents sur les nœuds finaux et collecte des données depuis les gestionnaires de machine virtuelle.

Les données extraites sont ensuite transformées en un format unique qui peut être chargé dans la base de données BigFix Inventory. Cette étape implique également la mise en correspondance des données d'analyse avec le catalogue des logiciels, le calcul d'unités de valeur par cœur de processeur (PVU), le traitement de l'analyse de capacité et la conversion d'informations contenues dans les fichiers XML. Une fois les données extraites et transformées, elles sont chargées dans la base de données et peuvent être utilisées par BigFix Inventory. Lors du processus ETL, le serveur BigFix Inventory reçoit la charge la plus lourde lorsque les actions suivantes sont effectuées :
  • Un grand nombre de petits fichiers sont extraits du serveur BigFix (extraction).
  • De nombreux fichiers petits et moyens qui incluent des informations sur les packages de logiciels installés et les données d'utilisation traitées sont soumis à une analyse syntaxique (transformation).
  • Les données soumises à l'analyse syntaxique sont placées dans la base de données (chargement).
Au même moment, BigFix Inventory supprime des volumes importants de données anciennes qui ont dépassé la durée de conservation des données.

Les performances du processus ETL dépendent du nombre de fichiers d'analyse, des analyses d'utilisation et des analyses de package traitées lors d'une même importation. Les performances de stockage représentent le principal goulot d'étranglement car le processus doit lire, traiter et écrire de nombreux petits fichiers dans la base de données BigFix Inventory en peu de temps. En planifiant correctement les analyses et en les répartissant sur les ordinateurs de votre infrastructure, vous pouvez réduire la durée du processus ETL et améliorer ses performances.

Le nombre de mises à jour sur le système de fichiers depuis la dernière analyse représente un facteur important qui influence la durée du processus ETL. Des opérations comme les mises à jour de sécurité ou les mises à niveau importantes du système peuvent entraîner l'allongement de l'exécution du processus ETL, car le processus doit traiter les informations de tous les fichiers modifiés. Par exemple, les mises à jour régulières publiées par Microsoft le mardi augmentent considérablement l'importation du mercredi dans des environnements comportant de nombreuses plateformes Windows.