Canaux spécialisés et groupes de processus dans NiFi

Cette rubrique fournit une description et l'objectif des canaux spécialisés et des groupes de processus dans NiFi.

Le groupe de processus est une technique permettant de combiner des composants dans une construction logique afin de structurer le flux de données d'une manière plus facile à saisir depuis un niveau supérieur. Tout flux de données compliqué bénéficie de l'utilisation de groupes de processus. La création de votre propre groupe de processus personnalisé vous permet d'effectuer des tâches d'ingestion et de transformation des données adaptées à vos besoins organisationnels. Les canaux et groupes de processus spécialisés NiFi sont les suivants :

Service passerelle: Tous les événements du Transaction server ou des événements NiFi internes sont envoyés via le service de passerelle. Ce canal fusionne plusieurs événements dans un seul fichier de flux. A partir des données d'événement, ce canal définit le type d'environnement, le nom d'index, l'ID d'exécution (ID de l'exécution du pipeline spécifique), l'heure et les attributs de fichier de flux.
Service de routage: En fonction du nom d'index du service de passerelle, ce canal transfère le fichier de flux au connecteur correspondant. Par exemple, si le nom de l'index est auth.product, le fichier de flux est transféré au connecteur auth.product.
Service de journalisation: Ce canal reçoit tous les événements d'entrée de l'enregistreur de divers canaux et effectue un appel en masse vers l'index de journal pour écrire tous les journaux.
Service d'exécution: Ce canal gère les journaux d'exécution et effectue des appels POST en masse vers l'index d'exécution dans Elasticsearch. Ces informations sur l'index d'exécution sont requises pour les statistiques d'exécution.
Service de terminal: Ce canal est appelé à la fin de chaque connecteur. Il appelle l'index de journal pour obtenir des détails pour l'exécution de ce connecteur et générer un rapport récapitulatif. Ce canal gère également les événements d'invalidation de cache à partir du canal d'invalidation du cache.
Service en masse - {index}: Ce canal est appelé à partir de différents canaux liés à {index} pour mettre à jour ou créer l'index de magasin en exécutant une requête POST en masse Elasticsearch.
Note: Le magasin est l'index dans ce cas. Catalogue, Produit, Attribut, Catégorie, Description, Prix, Stock et URL sont tous des exemples d'index.
Service en masse - Chargement de données: Il s'agit d'un service en masse qui gère toutes les opérations Ingest liées au chargement de données sur tous les index pris en charge.
Service NLP: Ce canal précharge l'index NLP, ainsi que les informations de cache NLP. Il analyse également les données de l'index produit en informations de zone naturelle pour l'index NLP.
Service Métriques: Il s'agit d'un service interne utilisé pour collecter les métriques de performances associées à HCL Cache à utiliser par Prometheus.