Réglage des performances du service Ingest

Réglage d'Apache NiFi

Pour maximiser les performances, NiFi divise les données entrantes à l'aide d'une approche de mise en cluster sans maître. Les données sont divisées en morceaux et chaque nœud du cluster effectue la même opération sur le morceau qu'il reçoit. ZooKeeper élit un nœud en tant que coordinateur de cluster, et tous les autres nœuds lui envoient des données de pulsation. Le coordinateur est responsable de la déconnexion des nœuds qui ne se présentent pas à temps, ou de la connexion de nouveaux nœuds qui prouvent qu'ils ont la même configuration que les autres nœuds du cluster.

Réglage de Elasticsearch

Elasticsearch utilise la même approche de mise en cluster sans maître que NiFi. Le nœud de coordination reçoit des demandes d'écriture et attribue des demandes de routage à d'autres instances de cluster (fragments). Par défaut, chaque fragment actualise son cache de système de fichiers une fois par seconde et valide toutes les cinq secondes. Le fragment conserve un journal des transactions et vide le journal toutes les trente minutes.

Dans la phase de requête du processus de recherche, le nœud de coordination prend les recherches entrantes et les envoie à tous les fragments. Chaque fragment effectue sa propre recherche, localement. Le fragment priorise les résultats et renvoie des informations sur les cinquante premiers documents au nœud de coordination. Dans la phase de récupération, le nœud de coordination détermine les dix premiers documents de la liste de chaque fragment et demande à chaque fragment de lui envoyer ces documents.

La phase de requête prend généralement beaucoup plus de temps que la phase de récupération car, pendant la requête, les fragments doivent faire correspondre la recherche à une liste potentiellement longue de documents, et déterminer un score pour chacun d'eux. En revanche, la récupération peut s'exécuter rapidement, car le serveur de coordination demande un sous-ensemble des documents à l'aide d'adresses directes.

Le principal moyen d'améliorer les performances de la recherche élastique est d'augmenter l'intervalle d'actualisation. Lorsque vous faites cela, Elasticsearch crée un nouveau segment Lucene et le fusionne plus tard, ce qui augmente le nombre total de segments. En outre, évitez d'échanger si possible. Définissez bootstrap.memory_lock=true pour faciliter cela.

Ajustez les paramètres spécifiques suivants pour optimiser l'environnement de travail Elasticsearch.