D. Importieren und Konfigurieren der Datenquellenvorlage BigDataODBCHiveTemplate in Unica Campaign

Dies ist der vierte Schritt der Integration von Unica Campaign in Hive-basierte Apache Hadoop-Datenquellen.

Vorbereitungen

Führen Sie C. Zuordnen vorhandener HBase-Tabellen zu Hive aus.

Warum und wann dieser Vorgang ausgeführt wird

Die Hive-Datenquelle bietet keine anderen Konfigurationsparameter wie Oracle / DB2-Datenbankdatenquellenvorlagen. Die Konfigurationseigenschaften, die nicht unterstützt werden, werden in der Hive-Vorlage nicht bereitgestellt. Konfigurationsparameter für Hive werden basierend auf der Implementierungsunterstützung selektiv unterstützt.

Um Unica Campaign die Kommunikation mit Ihrem Hive-basierten Hadoop-System zu ermöglichen, müssen Sie die folgenden Aktionen ausführen.

  • Importieren Sie die Vorlage BigDataODBCHive.xml in Unica Campaign. Sie müssen die Vorlage nur einmal importieren. Durch das Importieren einer Vorlage steht diese für die Erstellung von Datenquellen zur Verfügung.
  • Verwenden Sie die Vorlage, um für jede Hive-Implementierung, die mit Unica Campaign kommuniziert, eine Datenquelle zu erstellen und zu konfigurieren.
  • Konfigurieren Sie für jede Datenquelle die Eigenschaft HiveQueryMode bei der Konfiguration von Unica Campaign.

Prozedur

  1. Verwenden Sie das Dienstprogramm configTool, um die Vorlage BigDataODBCHive.xml in Unica Campaign zu importieren.
    • BigDataODBCHive.xml ist in <Campaign_Home>/conf.
    • configTool ist in <Platform_Home>/tools/bin. Weitere Informationen finden Sie im Unica Platform-Administratorhandbuch.

    Im folgenden Beispiel wird die Vorlage in die Standardpartition von Unica Campaign, partition1, importiert. Ersetzen Sie <Campaign_Home> durch den vollständigen Pfad zum Installationsverzeichnis von Unica Campaign.

    ./configTool -i -p "Affinium|Campaign|partitions|partition1|dataSources" –f <Campaign_Home>/conf/BigDataODBCHive.xml

  2. Erstellen Sie eine Datenquelle basierend auf BigDataODBCHiveTemplate. Machen Sie dies für jede Hive-Implementierung, die mit Unica Campaign kommuniziert. Wenn Sie z. B. über vier Implementierungen verfügen (MapR, Cloudera, Hortonworks, BigInsights®), müssen Sie vier separate Datenquellen erstellen und jede einzelne konfigurieren.
    1. Wählen Sie in Unica Campaign Einstellungen > Konfiguration aus
    2. Gehen Sie zu Campaign|partitions|partition[n]|dataSources.
    3. Wählen Sie BigDataODBCHiveTemplate aus.
    4. Geben Sie einen neuen Kategorienamen an, mit dem die Hive-Datenquelle identifiziert wird (z. B. Hive_MapR, Hive_Cloudera, Hive_HortonWorks oder Hive_BigInsights).
    5. Füllen Sie die Felder aus, um die Eigenschaften für die neue Datenquelle festzulegen. Speichern Sie anschließend Ihre Änderungen.
      Wichtig: Einige Eigenschaften verfügen über keine Standardwerte, sie müssen daher von Ihnen angegeben werden. Achten Sie besonders auf die im Folgenden beschriebenen Eigenschaften. Dies ist nur eine Teilliste der in dieser Vorlage eingeschlossenen Eigenschaften. Vollständige Informationen finden Sie im Unica Campaign-Administratorhandbuch.
    Konfigurationseigenschaft Beschreibung
    ASMUserForDBCredentials Es ist kein Standardwert definiert. Geben Sie den Systembenutzer von Unica Campaign an.
    DSN DSN-Name entsprechend der Angabe in der Datei odbc.ini file für die Hive-basierte Hadoop-Big-Data-Instanz.
    HiveQueryMode

    Verwenden Sie für Datenquellen, die den DataDirect-ODBC-Treiber verwenden, den Modus Nativ.

    Verwenden Sie für Datenquellen, die den Cloudera-ODBC-Treiber oder den Hortonworks-Hive-ODBC-Treiber verwenden, den Modus SQL.

    JndiName Wird für Benutzerdatenquelle nicht benötigt.
    SystemTableSchema Es ist kein Standardwert definiert. Geben Sie den Benutzer der Datenbank an, zu der Sie eine Verbindung herstellen.
    OwnerForTableDisplay Es ist kein Standardwert definiert. Geben Sie den Benutzer der Datenbank an, zu der Sie eine Verbindung herstellen.
    LoaderPreLoadDataFileCopyCmd SCP wird verwendet, um Daten aus Unica Campaign in einen temporären Ordner mit dem Namen /tmp zu kopieren, der sich auf dem Hive-basierten Hadoop-System befindet. Die Position muss /tmpgenannt werden und sich auf dem Hive-Server befinden (die Position des Dateisystems, nicht die HDFS-Position). Mit diesem Wert kann entweder der SCP-Befehl angegeben oder ein Script aufgerufen werden, in dem der Befehl angegeben ist.

    Weitere Informationen und detaillierte Anweisungen zur Vorgehensweise beim Exportieren von Daten aus Unica Campaign in ein Hive-basiertes Hadoop-System finden Sie im Unica Campaign-Administratorhandbuch.
    LoaderPostLoadDataFileRemoveCmd Datendateien werden aus IBM Campaign in einen temporären Ordner auf dem Hive-basierten Hadoop-System kopiert. Sie müssen den SSH-Befehl "rm" verwenden, um die temporäre Datendatei zu entfernen.

    Weitere Informationen und detaillierte Anweisungen zur Vorgehensweise beim Exportieren von Daten aus Unica Campaign in ein Hive-basiertes Hadoop-System finden Sie im Unica Campaign-Administratorhandbuch.
    LoaderDelimiter Es ist kein Standardwert definiert. Geben Sie das Trennzeichen an, z. B. Komma (,) oder Semikolon (;), mit dem Felder in den temporären Datendateien getrennt werden, die in die Big-Data-Instanz geladen werden. Tabstopps (/t) werden nicht unterstützt.

    Der Trennzeichenwert muss dem Trennzeichen im Zeilenformat entsprechen, das bei der Erstellung der Big-Data-Datenbanktabelle verwendet wurde. In diesem Beispiel wird ein Komma verwendet: REIHENFORMAT BEGRENZTE FELDER BEENDET DURCH ',' ; "

    SuffixOnTempTableCreation

    SuffixOnSegmentTableCreation

    SuffixOnSnapshotTableCreation

    SuffixOnExtractTableCreation

    SuffixOnUserBaseTableCreation

    SuffixOnUserTableCreation

    		 Es ist kein Standardwert definiert. Verwenden Sie das gleiche Zeichen, das für LoaderDelimiter angegeben wurde.
    UseExceptForMerge Auf FALSE festlegen. Hive unterstützt die EXCEPT-Klausel nicht, daher kann die Festlegung auf TRUE zu Prozessfehlern führen.

    DateFormat

    DateTimeFormat

    DateTimeOutputFormatString

    		 In allen Datumszeichenfolgen muss der Gedankenstrich "-" zum Formatieren von Datumsangaben verwendet werden. Hive unterstützt bei Daten keine anderen Zeichen. Beispiel: %Y-%m-%d %H:%M:%S
    Typ BigDataODBC_Hive
    UseSQLToRetrieveSchema Auf FALSE festlegen.
    DataFileStagingFolder Der Standardpositionswert ist auf /tmp festgelegt. Sie können den Positionswert ändern. Beispiel: /opt/campaign/
    Anmerkung: Der Wert für diesen Ordner muss über einen abschließenden Schrägstrich verfügen.
    Wenn Sie für das Kopieren der Campaign-Datendatei auf den Hive-Server über ein geschriebenes Shell-Script verfügen, müssen Sie dieses ändern. Beispiel: 
    #!/bin/sh
scp $1 root@emm52.in.hcl.com:/opt/campaign/
ssh root@emm52.in.hcl.com "chmod 0666 /opt/campaign/
`basename $1`"
    Wenn Sie LoaderPreLoadDataFileCopyCmd verwenden, müssen Sie die Speicherposition der Datei aktualisieren. Beispiel: 
    scp <DATAFILE> <USER>@[hostname]:/opt/campaign/
    Wenn Sie LoaderPostLoadDataFileRemoveCmd verwenden, müssen Sie die Speicherposition der Datei aktualisieren. Beispiel: 
    ssh <USER>@[hostname] "rm /opt/campaign/<DATAFILE>"

Nächste Maßnahme

E. Konfigurieren von SSH auf dem Listener-Server von Unica Campaign