Vérification du résultat du chargement des données

Vérifiez que l'exécution de l'utilitaire de chargement de données a abouti en examinant la valeur de sortie dans le rapport récapitulatif ou dans le fichier wc-dataload.log. Si des erreurs se sont produites, analysez les données des rapports d'erreur comme première étape pour déterminer leur cause principale.

Avant de commencer

Vous devez exécuter l'utilitaire de chargement de données avant de vérifier ses résultats.

Pourquoi et quand exécuter cette tâche

Le fichier journal/de trace wc-dataload.log est généré à chaque exécution de l'utilitaire de chargement de données. De même, un journal d'erreurs distinct est généré pour chaque élément de chargement comportant une ou plusieurs erreurs. Si aucune erreur ne survient, aucun journal d'erreur n'est créé. Le rapport récapitulatif correspond aux informations affichées dans la console lorsque vous exécutez l'utilitaire de chargement de données. Pour plus d'informations sur le schéma du fichier de configuration de l'ordre de chargement des données, voir Fichier de configuration de l'ordre de l'utilitaire de chargement de données.

Procédure

Examinez votre rapport récapitulatif.

Le rapport récapitulatif contient les informations suivantes pour chaque élément de chargement :

Informations incluses dans le rapport récapitulatif du chargement des données
Informations sur l'élément de chargement	Description
Configuration d'objet métier	Nom de la configuration d'objet métier utilisée.
Mode de l'utilitaire de chargement de données	Mode spécifié pour le processus de chargement des données.
Taille de lot	Valeur de la taille de lot spécifiée dans votre fichier de configuration.
Nombre de validations	Nombre de validations spécifié dans votre fichier de configuration.
Niveau de tolérance d'erreur	Niveau de tolérance d'erreur spécifié dans votre fichier de configuration.
Nombre d'erreurs	Nombre d'erreurs générées.
Quantité de données traitées	Si vous utilisez le lecteur CSV par défaut, ce chiffre indique le nombre de lignes qui sont traitées dans le fichier CSV source.
Quantité d'objets métier validée	Nombre d'objets métier renvoyés par le lecteur de données. Un objet de données renvoyé peut être construit sur plusieurs objets métier. Dans la plupart des cas cependant, un objet de données renvoyé est construit sur un seul objet métier.
Quantité d'objets métier validés	Nombre d'objets métier construits sauvegardés dans la base de données ou dans les fichiers. Cette valeur dépend de la configuration de l'éditeur de données. Remarque : Cette valeur correspond au nombre d'objets métier construits chargés qui sont traités sans erreur. Cette valeur ne correspond pas nécessairement au nombre d'enregistrements mis à jour dans la base de données. Pour chaque objet métier construit à partir d'un fichier source de chargement de données, le médiateur utilisé peut mettre à jour zéro, un ou plusieurs enregistrements de base de données en fonction de sa propre logique de traitement.
Temps d'initialisation du chargeur de données	Temps d'initialisation du chargeur de données.
Début de l'exécution du chargeur de données	Heure de début du processus de chargement des données, en secondes.
Heure de fin d'exécution du chargeur de données	Heure de fin du processus de chargement des données, en secondes.
Chargeur de données exécuté en...	Temps d'exécution total du chargement de données, en secondes.
Temps total consacré au vidage	Temps total de l'appel d'exécution du lot JDBC. Ces informations ne sont utiles que si le lot JDBC est activé (c'est-à-dire que la taille du lot est supérieure à 1). Si le lot JDBC est activé, c'est le temps total consacré à l'exécution de toutes les instructions SQL.
Temps total consacré aux validations	Temps total consacré à l'appel de validation dans la base de données. Cette valeur est généralement faible et sans utilité.
Temps total consacré au programme de résolution d'ID	Temps nécessaire au programme de résolution d'ID pour résoudre et vérifier les ID.
Emplacement du fichier CSV	Emplacement des données source.
Nom de table, nombre de lignes affectées	Noms des tables de base de données qui sont mises à jour et nombre total de lignes pour chaque table affectée par le processus de chargement. Le nombre d'opérations d'insertion, de mise à jour et de suppression effectuées est inclus avec le nombre total de lignes affectées pour une table. Le nombre de lignes affectées correspond au nombre d'opérations SQL qui sont exécutées sur des lignes dans une table. Il peut y avoir une différence entre le nombre d'opérations qui sont exécutées sur les lignes d'une table et le nombre réel de lignes affectées. Par exemple, si une opération de suppression est exécutée et qu'une suppression en cascade se produit, il se peut que le rapport récapitulatif n'identifie que les lignes qui sont supprimées par l'opération initiale, et non celles qui sont supprimées par la suppression en cascade. Remarque : Si votre site utilise des espaces de travail, le nombre d'opération d'insertion, de mise à jour et de suppression dans le rapport récapitulatif est calculé en fonction des opérations effectuées dans les tables de l'espace de travail. Par exemple, une opération de suppression dans un espace de travail peut entraîner une opération d'insertion ou de mise à jour dans une table de l'espace de travail au lieu d'une opération de suppression dans une table de base. Le rapport récapitulatif n'inclut que l'opération d'insertion ou de mise à jour initiale et non l'opération de suppression qui est effectuée une fois le processus de chargement terminé et les modifications apportées à l'espace de travail approuvées.

Exemple de rapport récapitulatif :


===============================================================================
HCL Commerce Data Load
===============================================================================

Load started at: Thu Sep 05 09:05:59 EDT 2013
Initialization completed in 2.229 seconds.

Processing CatalogEntry...

----------------------------------------------------------------------------------
Load summary for load item: CatalogEntry.
----------------------------------------------------------------------------------
Business Object Configuration: wc-loader-catalog-entry.xml
Data loader mode: Replace.
Batch size: 1.
Commit count: 100.
Error Tolerance Level: 1.
Error Count: 0.
Amount of business objects processed: 13.
Amount of business objects committed: 13.
Data loader initialization time: 0 seconds.
Data loader execution began: Thu Sep 05 09:06:07 EDT 2013
Data loader execution ended: Thu Sep 05 09:06:13 EDT 2013
Data loader completed in 5.765 seconds. 
Total flush time: 0 seconds.
Total commit time: 0.003 seconds.
Total ID resolver time: 1.138 seconds.
CSV file location: C:\IBM\WCDE_ENT70\bin\..\samples\DataLoad\Catalog\CatalogEntries.csv.
Affected tables (13):
Table                |     Total |    Insert |    Update |    Delete 
---------------------|-----------|-----------|-----------|-----------
BASEITEM             |         5 |         0 |         5 |         0 
BASEITMDSC           |         5 |         0 |         5 |         0 
STOREITEM            |         5 |         0 |         5 |         0 
ITEMVERSN            |         5 |         0 |         5 |         0 
DISTARRANG           |         5 |         0 |         5 |         0 
CATENTRY             |        13 |         0 |        13 |         0 
STORECENT            |        13 |         0 |        13 |         0 
CATENTDESC           |        13 |         0 |        13 |         0 
CATGPENREL           |        13 |         0 |        13 |         0 
LISTPRICE            |        13 |         0 |        13 |         0 
ITEMSPC              |         8 |         0 |         8 |         0 
VERSIONSPC           |         8 |         0 |         8 |         0 
CATENTREL            |         8 |         0 |         8 |         0 

----------------------------------------------------------------------------------

Program exiting with exit code: 0. 
Load completed successfully with no errors.

Load ended at: Thu Sep 05 09:06:13 EDT 2013
Load completed in 13.901 seconds.

Ouvrez le fichier wc-dataload.log dans le répertoire suivant :
- WCDE_installdir\logs
- utilities_root/logs
La valeur de sortie du système affichée dans le fichier wc-dataload.log ou le rapport récapitulatif indique ce qui suit :
1. Si l'utilitaire de chargement de données a terminé sans erreurs, la valeur de sortie du système est 0.
2. Si l'utilitaire de chargement de données a terminé avec quelques erreurs (en nombre inférieur à maxError), la valeur de sortie du système est 1.
3. Si l'utilitaire de chargement de données s'est arrêté prématurément car l'un des nombres d'erreurs de DataLoader a atteint la valeur maxError, la valeur de sortie du système est 2.
4. Si l'utilitaire de chargement de données s'est arrêté prématurément en raison d'une erreur irrémédiable (telle que com.ibm.commerce.foundation.dataload.exception.DataLoadConfigException et com.ibm.commerce.foundation.dataload.exception.DataLoadSystemException), la valeur de sortie du système est 3.
La description d'exceptions qui peuvent être affichées dans le rapport est fournie ici :

DataLoadSystemException

Cette erreur survient en présence de certaines erreurs système. Exemple : en cas de blocage de la base de données ou de mémoire insuffisante.

DataLoadSQLException

Cette erreur survient lorsque le chargement de données exécute une instruction SQL et que la base de données renvoie une exception.

DataLoadConfigException

Cette erreur survient lorsque le fichier de configuration contient des éléments incomplets ou que le contenu d'un élément est incorrect.

DataLoadApplicationException

Cette erreur survient lorsque le fichier source d'entrée contient des enregistrements erronés.
Facultatif : Si une erreur se produit, ouvrez le journal d'erreurs situé dans le même répertoire. Le nom de fichier de ce journal contient le nom de l'élément de chargement ainsi que la date et l'heure de l'erreur.
Par exemple, si une erreur s'est produite pour le LoadItem CatalogGroup, le nom de fichier peut être CatalogGroup_ERROR_2009.08.26_14.54.21.406.log. Les journaux d'erreurs contiennent les informations suivantes :
- Emplacement du chemin de fichier du journal d'erreurs.
- Application concernée et messages d'exception renvoyés.

Facultatif : Si vous configurez l'utilitaire de chargement de données afin d'exécuter le préprocesseur des différences entre les fichiers, les informations relatives au préprocesseur sont incluses dans le rapport récapitulatif généré. Ces informations permettent de vérifier que l'exécution du préprocesseur des différences entre les fichiers a abouti. Elles peuvent également indiquer si vous gagnez du temps en générant et en chargeant un fichier de différences au lieu de votre nouveau fichier entier.

Informations incluses dans le rapport récapitulatif du chargement de données pour le préprocesseur des différences entre les fichiers
Informations sur les éléments de chargement pour le préprocesseur des différences entre les fichiers	Description
Nombre d'enregistrements dans le nouveau fichier	Nombre d'objets de données qui sont renvoyés par le lecteur de données pour le nouveau fichier pour lequel vous identifiez les différences.
Nombre d'enregistrements dans le fichier de différences généré	Nombre d'objets de données qui sont renvoyés par le préprocesseur des différences entre les fichiers et inclus dans le fichier de différences. Ces enregistrements sont ceux du nouveau fichier qui ont été modifiés ou qui n'existent pas dans le fichier auquel est comparé le nouveau fichier.
Durée de la génération du fichier de différences :	Temps nécessaire à la génération du fichier de différences en secondes.
Durée du chargement du fichier de différences :	Temps nécessaire au chargement du fichier de différences uniquement, en secondes.
Durée totale de la génération et du chargement du fichier de différences :	Temps total d'exécution pour la génération et le chargement du fichier de différences, en secondes.
Durée de chargement estimée pour le nouveau fichier complet	Temps estimé nécessaire pour charger le nouveau fichier sans exécuter le préprocesseur des différences entre les fichiers, en secondes.
Pourcentage estimé du temps de chargement économisé en exécutant le préprocesseur de différences de fichier et en chargeant uniquement les différences de fichier :	Temps de chargement estimé économisé en exécutant le préprocesseur des différences entre les fichiers et en chargeant le fichier de différences uniquement au lieu du nouveau fichier entier. Le temps économisé est calculé sous forme de pourcentage du temps de chargement estimé pour le chargement du nouveau fichier entier selon la formule suivante : `( (full_file_load_time - file_diff_time) / full_file_load_time) x 100%` Où `file_diff_time` est le temps total consacré à la génération et au chargement du fichier de différences. `full_file_load_time` est le temps de chargement estimé pour le chargement du nouveau fichier complet.

Votre rapport récapitulatif comportant les informations sur les différences entre les fichiers peut être similaire à l'exemple de rapport suivant :

Load summary for load item: CatalogEntry
-----------------------------------------------------------------------------
--
Business Object Configuration: wc-loader-catalog-entry.xml
Data loader mode: Replace.
Batch size: 1.
Commit count: 100.
Error Tolerance Level: 1.
Error Count: 0.
Amount of data processed: 8.
Amount of business objects processed: 6.
Amount of business objects committed: 6.
Data loader initialization time: 0 seconds.
Data loader execution began: Thu Mar 10 10:52:06 EDT 2013
Data loader execution ended: Thu Mar 10 10:52:06 EDT 2013
Data loader completed in 1.208 seconds.
Total flush time: 0.002 seconds.
Total commit time: 0.003 seconds.
The number of records in the new file WebSphere/utilities_root/samples/DataLoad/Sample/CatalogEntriesNew.csv: 15 records
The number of records in the generated difference file WebSphere/utilities_root/samples/DataLoad/Sample/CatalogEntriesNew_diff_2013.03.10_10.52.05.501.csv: 5 records
The time for generating the difference file: 0.028 seconds.
The time for loading only the difference file: 1.18 seconds.
The total time for generating and loading the difference file: 1.208 seconds.
The estimated loading time for loading the full new file WebSphere/utilities_root/samples/DataLoad/Sample/CatalogEntriesNew.csv: 3.54 seconds
The estimated percentage of loading time that is saved by running the file difference preprocessor and loading only the file differences: 65%.
CSV file location: WebSphere/utilities_root/samples/DataLoad/Sample/CatalogEntriesNeww_diff_2013.03.10_10.52.05.501.csv.
Affected tables (14):
Table name: BASEITEM, Affected number of rows: 4.
Table name: BASEITMDSC, Affected number of rows: 4.
Table name: STOREITEM, Affected number of rows: 4.
Table name: ITEMVERSN, Affected number of rows: 4.
Table name: DISTARRANG, Affected number of rows: 4.
Table name: CATENTRY, Affected number of rows: 6.
Table name: STORECENT, Affected number of rows: 4.
Table name: CATENTDESC, Affected number of rows: 4.
Table name: CATGPENREL, Affected number of rows: 4.
Table name: LISTPRICE, Affected number of rows: 4.
Table name: OFFER, Affected number of rows: 4.
Table name: OFFERPRICE, Affected number of rows: 4.
Table name: ITEMSPC, Affected number of rows: 2.
Table name: TI_DELTA_CATENTRY, Affected number of rows: 5.
-----------------------------------------------------------------------------
--

Facultatif : Si vous avez configuré l'utilitaire de chargement de données pour générer des informations liées au processus du programme de résolution d'ID, ces informations sont incluses dans le rapport récapitulatif. Elles permettent de déterminer le temps nécessaire à la résolution et à la vérification des ID au cours du processus de chargement. Elles permettent également de déterminer s'il est plus efficace de résoudre et de vérifier les ID d'une table dans le cache du programme de résolution d'ID ou directement dans la base de données.

Pour inclure les informations du programme de résolution d'ID dans le rapport récapitulatif du chargement des données, vous devez inclure la propriété de configuration summaryReportLevel dans le fichier de configuration de l'ordre de chargement des données. Pour plus d'informations sur la configuration de ce fichier et les propriétés de configuration disponibles, voir

Si vous déterminez que la résolution des ID d'une table dans le cache n'est pas efficace, vous pouvez exclure du cache les ID de cette table. Pour qu'un tableau ne soit pas inclus dans le cache du programme de résolution d'ID, vous devez configurer la propriété de configuration IDResolver dans le fichier de configuration de l'environnement de chargement des données. Pour plus d'informations, voir Configuration des paramètres d'environnement de chargement de données.

Si le fichier de configuration de l'ordre de chargement des données est configuré en vue de l'inclusion des informations du programme de résolution d'ID dans le rapport récapitulatif du chargement des données, les informations ci-après sont incluses dans le rapport.

Informations incluses dans le rapport récapitulatif du chargement des données pour le programme de résolution d'ID
Informations sur les éléments de chargement pour le programme de résolution d'ID	Description
ResolveId depuis le cache	Informations relatives au processus de résolution d'ID effectué dans le cache du programme de résolution d'ID
Temps de chargement (s)	Temps nécessaire à l'extraction et au chargement des ID dans le cache du programme de résolution d'ID.
Entrées	Nombre d'entrées dans le cache pour la table.
Occurrences	Nombre d'accès au cache pour résoudre les ID pour la table.
ResolveId depuis la base de données	Informations relatives au processus de résolution d'ID effectué directement dans la table de base de données.
Temps (s)	Temps nécessaire à la résolution des ID directement depuis la base de données pour la table.
Occurrences	Nombre d'accès à la base de données pour résoudre les ID pour la table.

Ce rapport récapitulatif inclut une section supplémentaire qui peut ressembler à l'exemple ci-dessous de récapitulatif du programme de résolution d'ID.

Table                |          ResolveId from cache          |  ResolveId from database   
                     |Load Time (sec) |   Entries |      Hits |     Time (sec) |      Hits 
---------------------|----------------|-----------|-----------|----------------|-----------
ATTRDICT             |          0.011 |         2 |         1 |            0.0 |         0 
BASEITEM             |          0.055 |      1241 |        13 |            0.0 |         0 
BASEITMDSC           |          0.246 |     16008 |         5 |            0.0 |         0 
CATENTDESC           |          0.226 |     84292 |        13 |            0.0 |         0 
CATENTREL            |          0.028 |      5270 |         8 |            0.0 |         0 
CATENTRY             |          0.092 |      6497 |        21 |            0.0 |         0 
CATGPENREL           |          0.044 |      6496 |        13 |            0.0 |         0 
CATGROUP             |            0.0 |       131 |        23 |            0.0 |         0 
CATGRPDESC           |            0.0 |         0 |         6 |            0.0 |         0 
CATGRPREL            |            0.0 |         0 |         4 |            0.0 |         0 
CATTOGRP             |            0.0 |         0 |         2 |            0.0 |         0 
DISTARRANG           |          0.057 |      1238 |         5 |            0.0 |         0 
ITEMSPC              |          0.091 |      5259 |         8 |            0.0 |         0 
ITEMVERSN            |           0.02 |      1241 |        13 |            0.0 |         0 
LISTPRICE            |          0.066 |      6489 |        13 |            0.0 |         0 
STORECENT            |          0.014 |      6496 |        13 |            0.0 |         0 
STORECGRP            |            0.0 |         0 |         6 |            0.0 |         0 
STOREITEM            |          0.047 |      1240 |         5 |            0.0 |         0 
VERSIONSPC           |          0.097 |      5259 |         8 |            0.0 |         0 
---------------------|----------------|-----------|-----------|----------------|-----------
Total                |          1.094 |    147159 |       180 |            0.0 |         0

Remarque : Vous pouvez configurer l'utilitaire de chargement de données afin d'exclure des tables spécifiques du cache du programme de résolution d'ID. Envisagez d'exclure une table si celle-ci remplit les conditions suivantes :

La table est trop grande
Le chargement des ID depuis la table dans le cache prend beaucoup de temps
Le cache ne reçoit pas beaucoup d'accès afin de résoudre des ID pour la table

L'exclusion d'une table permet au programme de résolution d'ID de résoudre des ID directement dans la table de base de données. La résolution d'ID dans la table de base de données peut permettre de résoudre les ID plus rapidement ou de réduire l'utilisation de la mémoire. Pour exclure une table, vous devez configurer le fichier de configuration de l'environnement de chargement de données. Spécifiez le tableau à exclure dans un élément <_config:ExcludeCache> dans l'élément <_config:IDResolver>.

Remarque : Pour plus d'informations sur la configuration de ce fichier, voir Configuration des paramètres d'environnement de chargement de données.