Extension des connecteurs Ingest
HCL Commerce fournit des connecteurs Ingest par défaut qui effectuent des tâches d'ingestion et de transformation de données afin de préparer les données pour l'index de recherche. Vous pouvez les utiliser tels quels ou personnaliser ces connecteurs Ingest par défaut en fonction de vos besoins métier à l'aide de l'API de services Ingest de recherche. Cette rubrique décrit les personnalisations que vous pouvez effectuer et comment gérer ces personnalisations et les déplacer d'une version à l'autre.
Personnalisations
- Personnaliser la structure des connecteurs Ingest par défaut (mise à niveau)
-
Apporter des modifications structurelles aux connecteurs Ingest par défaut. Une modification structurelle fait référence à l'ajout ou à la suppression de canaux (groupes de processus) au niveau des connecteurs par défaut. Par exemple, l'ajout de canaux de marge bénéficiaire au connecteur auth.reindex par défaut.
Pour effectuer la modification structurelle :- 1. Obtenez le JSON de descripteur de connecteur complet pour le connecteur spécifique à l'aide du nœud final
GET /connector/{connectorID}Note: Vous pouvez également extraire le JSON de descripteur de connecteur complet du connecteur spécifique à partir du conteneur Ingest, profile/apps/search-ingest.ear/search-ingest.war/WEB-INF/classes/deployments - Après avoir obtenu le JSON complet, copiez le descripteur complet dans un nouveau fichier et modifiez la structure selon vos besoins.
- Utilisez l'API de mise à niveau avec le descripteur de connecteur complet (ConnectorDescriptorJson) présentant la modification structurelle.
- 1. Obtenez le JSON de descripteur de connecteur complet pour le connecteur spécifique à l'aide du nœud final
- Personnalisez la propriété et la configuration des composants par défaut/existants (mise à jour)
- Modifiez les propriétés et la configuration des groupes de processus, des processeurs, des connexions et des services de contrôleur. Pour effectuer ces modifications, placez le fichier JSON du descripteur de mise à jour dans le conteneur du dossier (/profile/apps/search-ingest.ear/search-ingest.war/WEB-INF/classes/deployments/customization). Sur cette base, l'API de services Ingest de recherche exécute automatiquement la mise à jour de l'API avec ce JSON de descripteur de mise à jour fourni pour personnaliser la propriété et la configuration des connecteurs Ingest par défaut.Note: Pour plus d'informations sur la création d'un fichier JSON de descripteur de mise à jour, voir Mise à jour du groupe de processus NiFi, du processeur, du service de contrôleur à l'aide du descripteur de connecteur Ingest
Gérer les personnalisations
- Mettre à niveau le corps JSON ou mettre à jour le corps JSON en fonction des personnalisations que vous effectuez (modification de la structure ou modification de la configuration et des propriétés). Note: La mise à niveau de l'API peut également exécuter la fonctionnalité de mise à jour de l'API
- Pour mettre à jour l'API, assurez-vous que le canal et la propriété existent dans le groupe de processus, le processeur, la connexion et le service de contrôleur.
- Pour mettre à niveau l'API, assurez-vous que le canal est ajouté au registre.
Si l'API de mise à niveau a été exécutée avec des données en file d'attente ou des processus de service Ingest en cours d'exécution et que la barre d'état de l'interface utilisateur NiFi indique des composants non valides, le processus de mise à niveau échouera. La file d'attente doit être effacée en localisant les groupes de processus dans le pipeline qui dispose de données de fichier de flux en file d'attente. Arrêtez les groupes de processus qui ont des données en file d'attente. Pour plus d'informations, voir Arrêt d'un composant.
/connectors/auth.reindex/upgradeDéplacer des personnalisations d'une version à l'autre
Déploiement de Kubernetes
Le script de déploiement vérifie la version des images NiFi. S'il correspond, le PV Nifi n'est pas supprimé. S'il ne correspond pas, le PV NiFi est effacé. Lorsque le PV est effacé, toutes les personnalisations réalisées sur la version précédente sont également effacées.
- Toute personnalisation liée à la structure doit être effectuée à nouveau manuellement en suivant le processus mentionné à la section Personnalisations.
- Toutes les personnalisations liées à la propriété et à la configuration peuvent être réalisées automatiquement à l'aide d'Ingest :
- Démarrez le service Docker Ingest.
- Déplacez le JSON de descripteur de mise à jour à l'intérieur du conteneur. /profile/apps/search-ingest.ear/search-ingest.war/WEB-INF/classes/deployments/customization
- Validez le conteneur pour créer une image personnalisée.
- Utilisez le script de déploiement normal avec une balise d'image Ingest personnalisée.