Paramètres de transaction de l'adaptateur HDFS
Cette documentation décrit comment les paramètres de transaction des cartes HDFS d'entrée et de sortie affectent le fonctionnement de l’adaptateur.
La seule portée de transaction prise en charge pour les cartes d'entrée et de sortie est Mappe. Cela signifie que l’action de transaction spécifiée ne s’effectue qu’une seule fois par carte, par mappe, avant la fin de la mappe.
Les actions OnSuccess et OnFailure pour les cartes d’entrée et de sortie HDFS sont décrites comme suit :
Actions OnSuccess pour les cartes d'entrée
Les actions OnSuccess pour les cartes d'entrée HDFS sont Delete, Keep et KeepOnContent.
- Delete - Supprimez le fichier source.
- Keep -Conservez le fichier source.
- KeepOnContent -Conservez le fichier source s’il n’est pas vide. S'il est vide, supprimez-le.
Actions Sur échec pour les cartes d'entrée
La seule action OnFailure prise en charge pour les cartes d'entrée HDFS est Commit. L'action Commit termine l’opération d’écriture en vidant toutes les données toujours stockées dans l’adaptateur, mais pas encore écrites dans le fichier cible.
Actions OnSuccess pour les cartes de sortie
- Create -Créez le fichier cible s'il n’existe pas encore. Si le fichier cible portant le même nom existe déjà, remplacez-le si la commande d’adaptateur -OW est incluse, sinon signalez une erreur.
- CreateOnContent - Même description que Create, mais le fichier n’est pas créé s’il n’y a pas de données à y écrire.
- !Create -Ne créez pas de fichier cible, même s'il n'existe pas encore. Les données fournies à l’adaptateur ne sont pas envoyées à HDFS, mais sont ignorées en mode silencieux. Si le fichier cible existe, il reste intact.
- Append -Ajoutez des données au fichier cible, s’il existe déjà. Si le fichier cible n’existe pas, il est créé et les données y sont écrites.
Actions Sur échec pour les cartes de sortie
- Commit -Conservez toutes les données écrites dans le fichier avant l’échec.
- Rollback -Supprimez le fichier cible s'il a été créé par l’adaptateur dans la mappe en cours. Sinon, conservez le fichier cible en incluant toutes les données qui y ont été écrites dans la mappe en cours.