Création d'un connecteur à l'aide du service Ingest
Vous démarrez le processus d'intégration de vos tables de base de données personnalisées au service Ingest en créant un connecteur.
Before you begin
- Dans le tutoriel, un connecteur portant le nom
auth.xfieldsest créé. Vous pouvez utiliser un nom de connecteur personnalisé qui reflète au mieux votre propre scénario de personnalisation. - Remplacez "auth" ou "live" dans le code selon que vous personnalisez un connecteur/pipeline de création ou opérationnel dans lequel vous vous connectez à la base de données d'environnement de création ou opérationnel.
About this task
http://hostname/IP:30800/swagger-ui/index.html?url=/v3/api-docs&validatorUrl=#/Create%20Connector%20Configuration/createConnector-
Cette leçon utilise un nom de connecteur de
auth.xfields. Les descripteurs de connecteur sont créés à l'aide de l'API Ingest et stockés dans ZooKeeper. -
Dans l'interface utilisateur de NiFi, les pipelines de flux de données correspondent aux connecteurs. Certains pipelines ont un grand nombre de groupes de processus NiFi de niveau supérieur connectés ensemble pour former des pipelines/connecteurs (par exemple, le connecteur de réindexation complet
auth.reindex). Les groupes de processus de niveau supérieur contiennent souvent d'autres groupes de processus imbriqués. Vous pouvez continuer à cliquer sur les groupes de processus pour explorer ceux qui contiennent des processeurs NiFi qui effectuent les tâches ETL détaillées pour le pipeline d'ingestion. -
Il est souvent plus facile de localiser des groupes de processus ou des processeurs spécifiques dans NiFi à l'aide de l'outil de recherche situé en haut à droite de la barre d'état NiFi. Vous pouvez copier des noms de groupe de processus à partir d'un descripteur de connecteur (extraction à l'aide de l'API Ingest, par exemple :
GET http://INGEST_HOST:INGEST_PORT/connectors/auth.reindex), ou à partir de Connecteur de réindexation complète.
Procedure
Pour créer le connecteur, procédez comme suit :
- Depuis l'interface utilisateur de Swagger, allez à API.
- Cliquez sur Essayez-le.
-
Pour le corps de l'API, utilisez le code JSON suivant.
{ "name": "auth.xfields", "description": "This is the connector used for the custom fields to ingest", "pipes": [ { "name": "_Template-DatabasePagingETL", "properties": [ { "name": "Database Driver Location(s)", "value": "${AUTH_JDBC_DRIVER_LOCATION}", "scope": { "name": "Database Connection Pool", "type": "CONTROLLER_SERVICE" } }, { "name": "Database Driver Class Name ", "value": "${AUTH_JDBC_DRIVER_CLASSNAME}", "scope": { "name": "Database Connection Pool", "type": "CONTROLLER_SERVICE" } }, { "name": "Database Connection URL", "value": "${AUTH_JDBC_URL}", "scope": { "name": "Database Connection Pool", "type": "CONTROLLER_SERVICE" } }, { "name": "Database User", "value": "${AUTH_JDBC_USER_NAME}", "scope": { "name": "Database Connection Pool", "type": "CONTROLLER_SERVICE" } }, { "name": "Password", "value": "${AUTH_JDBC_USER_PASSWORD}", "scope": { "name": "Database Connection Pool", "type": "CONTROLLER_SERVICE" } } ] }, { "name": "Terminal", "label": "Terminal" } ] } - Cliquez sur Exécuter.
-
Vérifiez que votre connecteur a été créé.
Ouvrez l'interface utilisateur de NiFi. Vous devriez voir votre nouveau groupe de processus à l'extrême droite de la zone de conception NiFi. Vous pouvez également rechercher "auth.xfields" à l'aide de l'outil de recherche situé dans la partie supérieure droite de la barre d'état NiFi, afin de localiser rapidement votre connecteur/pipeline.
