F. Configuration de la connectivité entre le serveur du programme d'écoute Unica Campaign et le cluster Hadoop

Pourquoi et quand exécuter cette tâche

Le script du chargeur est nécessaire pour copier un fichier de données temporaire disponible via <Campaign_Home>/partitions/partition[n]/tmp sur le serveur Impala, qui est créé lors de l'exécution du diagramme.

Procédure

  1. Nous utilisons pscp (utilitaire Putty) pour se connecter au cluster Cloudera Hadoop à partir du serveur Unica Campaign et pour charger les fichiers de données sur Hadoop.Remarque : dans le cas présent, l'utilitaire a besoin d'un mot de passe dans l'argument en texte simple.
  2. Configuration pour LoaderPreLoadDataFileCopyCmd : LoaderPreLoadDataFileCopyCmd = C:\Unica11\Campaign\bin\CopytoHadoop.bat <DATAFILE> /tmp/
  3. Configuration pour LoaderPostLoadDataFileRemoveCmd : LoaderPreLoadDataFileCopyCmd = C:\Unica10\Campaign\bin\removeFromHadoop.bat <DATAFILE>
  4. Configuration pour LoaderPostLoadDataFileRemoveCmd =LoaderPostLoadDataFileRemoveCmd= C:\Unica10\Campaign\bin\removeFromHadoop.bat <DATAFILE> /tmp/

Exemple

Il s'agit d'un exemple de script. Vous pouvez écrire votre propre script de traitement par lots :
Sample Script of copytoHadoop.bat:
=========================================
REM This script is used to copy a file from Campaign to any location on the 
Impala-based Hadoop system. The location must a valid HDFS location
@echo off
REM Operating System location
pscp -pw <password> "%1" <username>@<Hadoop Node with Impala>:"%2"
set filepath="%1"
for /F "delims=" %%i in (%filepath%) do set basename="%%~nxi"
for /F "delims=" %%i in (%filepath%) do set filename="%%~ni"
for /F "delims=" %%i in (%filepath%) do set fileExtension="%%~xi" 
REM Moving Campaign data with name containing special character is prohibited,
 so extracting
plink -pw <password> -ssh <username>@<Hadoop Node with Impala> "mv %2/%baseName% %2/%fileName%" 
plink -pw <password> -ssh <username>@<Hadoop Node with Impala> "hadoop fs -put -f %2/%fileName% %2" 
plink -pw <password> -ssh <username @<Hadoop Node with Impala> "hadoop fs -mv 
%2/%fileName% %2/%baseName%"
plink -pw <password> -ssh <username @ Hadoop Node with Impala> "hadoop fs -chmod 0777 %2/%baseName%
"=========================================
Les fichiers de données sont copiés depuis Unica Campaign dans un dossier temporaire sur le système Hadoop basé sur Impala. Vous devez utiliser la commande SSH "rm" pour retirer le fichier de données temporaire.
  1. Supprimez les données temporaires du système de fichiers Hadoop.
  2. Supprimez les données temporaires du système de fichiers du système d'exploitation.
Remarque :
  1. Pour que LoaderPostLoadDataFileCopyCmd et LoaderPostLoadDataFileRemoveCmd fonctionnent, le système Hadoop doit disposer de TGT et d'un accès permettant d'écrire, de modifier et de supprimer des fichiers du système de fichiers Hadoop.
  2. La configuration ci-dessus est un exemple de configuration. Vous pouvez vous reporter à Unica Campaign - Guide d'installation pour plus de détails.