Edition des modifications apportées au service Ingest
Vous pouvez émettre des appels SQL pour extraire des données de base de données à partir du pipeline NiFi. Ces informations sont converties du format tabulaire "2d" dans la base de données en chaîne unidimensionnelle pour Elasticsearch. Normalement, cette agrégation de liste a lieu dans la base de données, mais chaque base de données impose une limite sur la longueur de la chaîne renvoyée. Si le SQL tente de sérialiser une chaîne plus longue, elle sera tronquée. Une solution à ce problème a été introduite dans HCL Commerce version 9.1.7.
Paramètre LISTAGG introduit dans la version 9.1.7
La recherche HCL Commerce fournit une fonction au niveau de l'application pour effectuer la sérialisation au lieu de l'agrégation dans la base de données. Vous pouvez contrôler ce comportement à l'aide de l'attribut de variable/flux de données flow.database.listagg. La valeur par défaut est définie sur True, qui conserve l'agrégation de chaîne au niveau de la base de données.
La définition de l'attribut flow.database.listagg dans ReindexLink, NRTLink ou DataloadLink définit cette propriété globalement tout au long du flux de données. La définition de l'attribut de fichier de flux flow.database.listagg selon les besoins dans un canal de connecteur va cibler et isoler l'agrégation de chaîne au niveau de l'application à l'étape de traitement de pipeline donnée et est préférable pour optimiser les performances d'intégration.
True signifie que le système compte sur la base de données pour effectuer l'agrégation de liste. Ce paramètre par défaut est rapide, mais impose une limite à la taille des chaînes renvoyées, qui est différente pour chacune des bases de données prise en charge. La définition de la valeur False active l'agrégation de listes au niveau de l'application, qui n'a pas de limite de taille pour la requête renvoyée, mais cette modification peut entraîner une multiplication par deux du temps de traitement d'intégration. Mise à niveau vers la version 9.1.10
Dans les versions 9.1.10.0 et ultérieures, le service Ingest synchronise automatiquement NiFi avec vos descripteurs de connecteur personnalisés stockés dans Zookeeper. Les descripteurs de connecteur par défaut des versions antérieures, qui étaient stockées dans Zookeeper dans les versions précédentes, ne sont plus nécessaires, à l'exception de ceux qui sont personnalisés. Pour ceux-ci, vous devrez conserver votre propre copie à l'intérieur de Zookeeper.
Dans les versions antérieures à la version 9.1.10.0, chaque fois que le service Ingest est redémarré, tous les descripteurs de connecteur sont supprimés du nœud Zookeeper/connecteurs. Le service Ingest recrée les connecteurs dans Zookeeper en fonction des descripteurs de connecteur par défaut. Cela vous fera perdre vos descripteurs de connecteur personnalisés.
Pour des instructions détaillées, voir Migration des personnalisations du service Ingest.