Collecte de données MustGather de recherche basées sur Elasticsearch pour rechercher des problèmes de service Ingest

Préparez les informations MustGather suivantes avant d'appeler la prise en charge d'HCL pour vous aider à identifier et résoudre les incidents du processus.

About this task

Ce MustGather peut être utilisé pour enquêter sur la cause des problèmes de service Ingest basés sur Elasticsearch. Si vous essayez de répondre à l’une des questions suivantes, voici le MustGather à utiliser :

Pourquoi les modifications de mon catalogue n'apparaissent-elles pas sur la vitrine après une reconstruction complète de l'index de recherche ?
J'ai lancé une reconstruction complète de l'index de recherche. Quel est l'état de cette reconstruction ?
J'ai effectué une reconstruction complète automatisée de l'index. Quels sont les résultats de cette reconstruction ?

Procedure

Exécutez l'API REST suivante pour démarrer la tâche d'indexation et enregistrez la valeur runId de la réponse pour une utilisation ultérieure :
```
https://{{ingest_hostname_port}}/connectors/{{connectorId}}/run?storeId={{storeId}}&envType={{envType}}
```
Exécutez l'API REST suivante pour obtenir l'état actuel de l'exécution du pipeline Ingest (en utilisant runId à partir de 1) :
```
https://{{ingest_hostname_port}}/connectors/{{connectorId}}/runs/{{runId}}/status
```
Note: Si l'exécution du pipeline Ingest n'est pas terminée, exécutez périodiquement la requête ci-dessus jusqu'à ce qu'elle signale que l'exécution est terminée.

Collectez les réponses pour les API REST suivantes :

https://{{ingest_hostname_port}}/connectors/{{connectorId}}/runs/{{runId}}/ https://{{ingest_hostname_port}}/connectors/{{connectorId}}/runs/ https://{{ingest_hostname_port}}/connectors/{{connectorId}}

What to do next

Examen des données

Définition du connecteur Ingest: La définition du connecteur détermine la structure du pipeline Ingest, en faisant référence aux groupes de processus et à leurs paramètres de variables. La validation de la version actuelle de la définition du connecteur est essentielle en vue de s'assurer que vous utilisez la version attendue d'un pipeline Ingest.

Historique d’exécution du connecteur Ingest

L'historique d'exécution du connecteur Ingest affiche les dernières exécutions par rapport à un connecteur donné. Il peut servir à identifier les exécutions récentes du pipeline Ingest et à confirmer si d'autres exécutions ont été effectuées depuis la fin d'une exécution spécifique. Par exemple, voici les trois dernières exécutions qui s'affichent pour un exemple de connecteur :

{ "items": [ { "run": "i-6ac247a6-556e-471b-8272-eb4cd52c795b", "date": "2023-08-24T05:22:51.680Z" }, { "run": "i-2e5b30ce-8d92-41cc-9d68-9db94300cb68", "date": "2023-08-23T12:25:12.956Z" }, { "run": "i-18aea9f6-83ba-412e-9ef2-9e2e18f790a9", "date": "2023-08-23T12:17:55.759Z" } ], "offset": 0, "size": 3 }

Si vous souhaitez vérifier si des exécutions supplémentaires sur le même pipeline Ingest ont rencontré les mêmes problèmes que la ou les exécutions problématiques, examinez les résultats de chacune de ces exécutions.

Journal d'exécution du pipeline Ingest

Le journal d'exécution du pipeline Ingest contient des informations relatives à une exécution du pipeline Ingest spécifique. Tous les messages de journal de niveau INFO, AVERTISSEMENT ou ERREUR signalés au cours de l'exécution seront compilés dans le journal d'exécution et résumés par le groupe de processus Etape finale. Par exemple, au début de la sortie Etape finale pour cette exécution du pipeline Ingest, les emplacements et le nombre de messages signalés sont répertoriés :

{ "items": [ ... { "_index": "log", "_type": "_doc", "_id": "bc6278c7-c8a0-4bbd-80cf-e2947e1f1a9e", "_score": null, "_source": { "date": "2023-07-25T07:17:10.874Z", "severity": "I", "reference": null, "code": "DI0003I", "connector": "auth.reindex.cas", "location": "Terminal Stage", "run": "i-f14729a2-2941-4ef4-95ba-c4159044964e", "type": "summary", "attributes": null, "source": null, "message": { "start": "2023-07-25T07:14:15.147Z", "end": "2023-07-25T07:17:09.621Z", "run": "i-f14729a2-2941-4ef4-95ba-c4159044964e", "locations": { "info": { "Attribute Schema": "1", "Catalog Schema": "1", "Category Schema": "1", "Description Schema": "1", "Inventory Schema": "2", "Page Schema": "1", "Price Schema": "2", "Store Schema": "2", "Store Stage 1 (Store Locations), Find Store Locations": "1", "Workspace Schema": "2" } },

Plus bas, les messages de journal spécifiques sont répertoriés afin de fournir davantage de contexte concernant le type de messages signalés par le groupe de processus :

 "messages": { "Store Schema": [ "DI0002I Successfully initialized auth.store index dynamic settings", "DI0002I Successfully initialized auth.store index dynamic mappings" ], "Catalog Schema": [ "DI0002I Successfully initialized .auth.10501.catalog.202307250714 index schema" ], "Attribute Schema": [ "DI0002I Successfully initialized .auth.10501.attribute.202307250714 index schema" ], "Page Schema": [ "DI0002I Successfully initialized .auth.10501.page.202307250714 index schema" ], "Category Schema": [ "DI0002I Successfully initialized .auth.10501.category.202307250714 index schema" ], "Store Stage 1 (Store Locations), Find Store Locations": [ "DI0002I Successfully initialized .auth.10501.product.202307250714 index schema" ], "Description Schema": [ "DI0002I Successfully initialized .auth.10501.description.202307250714 index schema" ], "Price Schema": [ "DI0002I Successfully initialized auth.price index dynamic settings", "DI0002I Successfully initialized auth.price index dynamic mappings" ], "Inventory Schema": [ "DI0002I Successfully initialized auth.inventory index dynamic settings", "DI0002I Successfully initialized auth.inventory index dynamic mappings" ], "Workspace Schema": [ "DI0002I Successfully initialized auth.workspace index dynamic settings", "DI0002I Successfully initialized auth.workspace index dynamic mappings" ] }, "severities": { "I": 14 },

La section elapsed répertorie le temps passé (en millisecondes) pour chaque étape du traitement :

 "elapsed": { "absolute": { "connector": "174474", "stages": { "Product Stage 1a (Product Document)": "21601" } }, "cumulative": { "summary": { "Catalog Pipeline": "5380", "NLP Pipeline": "40306", "Page Pipeline": "5409", "Product Pipeline": "7667", "Send Categories to Elasticsearch Pipeline": "4263", "Send Products to Elasticsearch Pipeline": "3874", "Send Stores to Elasticsearch Pipeline": "5666" }, "stages": { "Catalog Stage 1b (Filters)": "5380", "NLP Service": "40306", "Page Stage 1 (Page Document)": "5409", "Product Stage 1g (Long Descriptions)": "7667", "Send Categories to Elasticsearch": "4263", "Send Products to Elasticsearch": "3874", "Send Stores to Elasticsearch": "5666" }, "bulk": { "Catalog Stage 1b (Filters)": "3133", "NLP Service": "14473", "Page Stage 1 (Page Document)": "2160", "Product Stage 1g (Long Descriptions)": "3576" }, "retry": { "Catalog Stage 1b (Filters)": "0", "NLP Service": "0", "Page Stage 1 (Page Document)": "0", "Product Stage 1g (Long Descriptions)": "0" } } }

La section processed fournit toutes les opérations de création et de mise à jour de documents d'index qui ont abouti. L'indicateur de taille inclut le nombre total d'octets écrits dans Elasticsearch à partir de chacune des étapes répertoriées :

 "processed": { "created": { "Attribute Stage 1a (Attribute Document)": "194", "Catalog Stage 1a (Catalog Document)": "3", "Category Stage 1a (Category Document)": "111", "Category Stage 1c (Long Descriptions)": "0", "Page Stage 1 (Page Document)": "32", "Product Stage 1a (Product Document)": "3920", "Product Stage 1g (Long Descriptions)": "3920", "Store Stage 1 (Store Document)": "7" }, "updated": { "Catalog Stage 1b (Filters)": "8", "NLP Service": "3920", "STA Stage 1 (STA)": "0" }, "validated": { "Catalog Stage 1a (Catalog Document)": "100%", "Catalog Stage 1b (Filters)": "100%", "NLP Service": "100%", "Page Stage 1 (Page Document)": "100%", "Product Stage 1g (Long Descriptions)": "100%" }, "failures": { "Catalog Stage 1a (Catalog Document)": "0", "Catalog Stage 1b (Filters)": "0", "NLP Service": "0", "Page Stage 1 (Page Document)": "0", "Product Stage 1g (Long Descriptions)": "0" }, "retries": { "Catalog Stage 1a (Catalog Document)": "0", "Catalog Stage 1b (Filters)": "0", "NLP Service": "0", "Page Stage 1 (Page Document)": "0", "Product Stage 1g (Long Descriptions)": "0" }, "sizes": { "Catalog Stage 1a (Catalog Document)": "1742", "Catalog Stage 1b (Filters)": "4024", "NLP Service": "5213397", "Page Stage 1 (Page Document)": "21697", "Product Stage 1g (Long Descriptions)": "1994263" } }

La section SQL contient les temps écoulés pour nos groupes de processus spécifiquement pour les requêtes SQL si vous devez réduire le temps passé au traitement des requêtes de base de données par rapport aux requêtes Elasticsearch :

 "sql": { "execution": { "Store Stage 1 (Store Document)": "43", "Store Stage 1 (Supported Languages)": "16", "Store Stage 1 (Supported Catalogs)": "11", "Store Stage 1 (Configurations)": "27", "Store Stage 1 (Store Locations)": "51", "STA Stage 1 (STA)": "17", "Catalog Stage 1a (Catalog Document)": "18", "Catalog Stage 1b (Filters)": "21", "Category Stage 1a (Category Document)": "61", "Category Stage 1d (Hierarchy)": "29", "Attribute Stage 1a (Attribute Document)": "65", "Category Stage 1b (Facets)": "47", "Attribute Stage 1b (Attribute Values)": "132", "Product Stage 1a (Product Document)": "4740", "Product Stage 1h (Child Items)": "5351", "Product Stage 1i (Parent Category)": "4933", "Product Stage 1b (Enrich Document - Overrides)": "1711", "Product Stage 1b (Enrich Document - Entitlements)": "2490", "Product Stage 1b (Enrich Document - Associations)": "591", "Product Stage 1b (Enrich Document - Attachments)": "3165", "Product Stage 1e (Find Attributes)": "9669", "Price Stage 1b (Bundle Prices)": "252", "Price Stage 1a (Product Prices)": "2863", "Inventory Stage 1 (Product Inventory)": "12881", "Page Stage 1 (Page Document)": "237", "Category Stage 1c (Long Descriptions)": "22", "Product Stage 1g (Long Descriptions)": "296" }, "fetch": { "Store Stage 1 (Store Document)": "2", "STA Stage 1 (STA)": "2", "Catalog Stage 1a (Catalog Document)": "2", "Catalog Stage 1b (Filters)": "1", "Category Stage 1a (Category Document)": "5", "Attribute Stage 1a (Attribute Document)": "20", "Product Stage 1a (Product Document)": "166", "Page Stage 1 (Page Document)": "3", "Category Stage 1c (Long Descriptions)": "2", "Product Stage 1g (Long Descriptions)": "646" } }