Canalizaciones especializadas y grupos de procesos en NiFi

Este tema proporciona la descripción y la finalidad de las canalizaciones especializadas y de los grupos de procesos en NiFi.

El grupo de procesos es una técnica para combinar componentes en una construcción lógica con el fin de estructurar el Flujo de datos de una manera más fácil de comprender desde un nivel superior. Cualquier flujo de datos complicado se beneficia del uso de grupos de procesos. La creación de grupos de procesos personalizados propios le permite realizar tareas de introducción y transformación de datos que se adaptan a sus requisitos organizativos. Los grupos de procesos y las canalizaciones especializadas de NiFi son los siguientes:

Servicio de pasarela: Todos los eventos desde Transaction server o los eventos internos de NiFi se envían a través del servicio de pasarela. Este canal fusiona varios eventos en un único archivo de flujo. A partir de los datos de evento, este conducto establece el tipo de entorno, el nombre del índice, el ID de ejecución (ID de la ejecución de canalización específica), el tiempo y los atributos del archivo de flujo.
Servicio de direccionamiento: Basándose en el nombre de índice del servicio de pasarela , esta canalización transfiere el archivo de flujo al conector correspondiente. Por ejemplo, si el nombre del índice es auth.product, el archivo de flujo se transfiere al conector auth.product.
Servicios de anotación cronológica: Este canal recibe todos los eventos de entrada de los registradores de varias canalizaciones y realiza una llamada masiva al índice de registro para grabar todos los registros.
Ejecutar el servicio: Este canal gestiona los registros de ejecución y realiza llamadas POST masivas al índice de ejecución en Elasticsearch. Esta información sobre el índice de ejecución es necesaria para las estadísticas de ejecución.
Servicio de terminal: Este canal se llama al final de cada conector. Llama al índice de registro para obtener detalles para la ejecución de dicho conector y generar un informe de resumen. Este canal también gestiona los eventos de invalidación de memoria caché del canal de invalidación de memoria caché.
Servicio masivo: {index}: Este canal se llama desde diferentes canalizaciones relacionadas con {index} para actualizar o crear el índice de tiendas realizando una solicitud POST masiva de Elasticsearch.
Note: La tienda es el índice en este caso. Catálogo, Producto, Atributo, Categoría, Descripción, Precio, Inventario y URL son ejemplos de índices.
Servicio masivo: carga de datos: Se trata de un servicio masivo que gestiona todas las operaciones de introducción relacionadas con la carga de datos en todos los índices compatibles.
Servicio NLP: Este canal precarga el índice de NLP así como la información de la memoria caché de NLP. También analiza los datos del índice de productos en información de campo natural para el índice de NLP.
Servicio de métricas: Se trata de un servicio interno utilizado para recopilar métricas de rendimiento relacionadas con HCL Cache que Prometheus utilizará.