C. BigDataODBCImpalaTemplate データ・ソース・テンプレートをインポートして構成する Campaign

これは、IBM® Campaign と Impala ベースの Cloudera Hadoop データ・ソースを統合するための 3 番目の手順です。

このタスクについて

Campaign と Impala ベースの Hadoop システムの間の通信を可能にするには、以下の操作を実行する必要があります。
  • BigDataODBCImpalaTemplate.xml テンプレートを IBM Campaign にインポートします。テンプレートは 1 回だけインポートしてください。テンプレートをインポートすると、データ・ソースを作成するためにそのテンプレートを使用できるようになります。

手順

  1. configTool ユーティリティーを使用して、テンプレート BigDataODBCImpalaTemplate.xmlCampaign にインポートします。
    • BigDataODBCImpalaTemplate.xml is in <Campaign_Home>/conf.
    • configTool is in <Marketing_Platform_Home>/tools/bin. 詳しくは、IBM Knowledge Center にある「IBM Marketing Platform 管理者ガイド」を参照してください。

    そのテンプレートをデフォルトの Campaign パーティション partition1 にインポートする例を以下に示します。<Campaign_Home>IBM Campaign のインストール・ディレクトリーの完全パスに置き換えてください。

    ./configTool -i -p "Affinium|Campaign|partitions|partition1|dataSources" –f <Campaign_Home>/conf/BigDataODBCImpalaTemplate.xml

  2. BigDataODBCImpalaTemplate に基づいてデータ・ソースを作成します。
    1. IBM Campaign で、「設定」 > 「構成」を選択します。
    2. Campaign|partitions|partition[n]|dataSources に移動します。
    3. BigDataODBCImpalaTemplate を選択します。
    4. 各フィールドで新しいデータ・ソースのプロパティーを設定し、変更内容を保存します。
      重要: デフォルト値のないプロパティーもあります。そのようなプロパティーについては値を指定する必要があります。特に注意の必要なプロパティーを以下に記載します。このリストは、そのテンプレートに含まれているプロパティーの一部にすぎません。詳しくは、「IBM Campaign 管理者ガイド」を参照してください。
    構成プロパティー 説明
    ASMUserForDBCredentials デフォルト値が定義されていません。Campaign のシステム・ユーザーを指定してください。
    DSN odbc.ini ファイルで指定されている、Hive ベースの Hadoop ビッグデータ・インスタンスの DSN 名。
    JndiName ユーザー・データ・ソースの場合は不要です。
    SystemTableSchema デフォルト値が定義されていません。接続先のデータベースのユーザーを指定してください。
    OwnerForTableDisplay デフォルト値が定義されていません。接続先のデータベースのユーザーを指定してください。
    LoaderPreLoadDataFileCopyCmd SCP を使用して、IBM Campaign から Impala ベースの Hadoop システムの任意の場所にデータをコピーします。この場所は、Impala サーバー上の有効な HDFS ロケーションでなければなりません。この値で、SCP コマンドを指定することも、そのコマンドを指定したスクリプトを呼び出すこともできます。

    Campaign から Impala ベースの Hadoop システムにデータをエクスポートするための詳細情報と詳細な手順については、「IBM Campaign 管理者ガイド」を参照してください。

    LoaderPostLoadDataFileRemoveCmd IBM Campaign から Hive ベースの Hadoop システムにある一時フォルダーにデータ・ファイルがコピーされます。その一時データ・ファイルを削除するために、SSH の「rm」コマンドを使用する必要があります。

    Campaign から Impala ベースの Hadoop システムにデータをエクスポートするための詳細情報と詳細な手順については、「IBM Campaign 管理者ガイド」を参照してください。

    LoaderDelimiter デフォルト値が定義されていません。ビッグデータ・インスタンスにロードする一時データ・ファイルの各フィールドを区切るための区切り文字を指定してください。コンマ (,) やセミコロン (;) などです。タブ (/t) は使用できません。

    この区切り文字の値は、ビッグデータ・データベース表の作成時に使用した ROW 形式区切り文字と一致していなければなりません。この例では、コンマを使用しています。ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' ;"

    SuffixOnTempTableCreation

    SuffixOnSegmentTableCreation

    SuffixOnSnapshotTableCreation

    SuffixOnExtractTableCreation

    SuffixOnUserBaseTableCreation

    SuffixOnUserTableCreation

    デフォルト値が定義されていません。LoaderDelimiter で指定した文字と同じ文字を使用してください。
    UseExceptForMerge FALSE に設定します。Hive では EXCEPT 節がサポートされていないため、 TRUE を設定するとプロセスが失敗する可能性があります。

    DateFormat

    DateTimeFormat

    DateTimeOutputFormatString

    すべての日付ストリングの日付書式でダッシュ「-」文字を使用する必要があります。Hive は日付の書式として他の文字に対応していません。例: %Y-%m-%d %H:%M:%S
    タイプ BigDataODBC_Impala
    UseSQLToRetrieveSchema FALSE に設定します。
    DataFileStagingFolder デフォルトのロケーション値を /tmp に設定します。ロケーション値は変更できます。例: /opt/campaign/
    注: このフォルダーの値には、末尾にスラッシュを付ける必要があります。
    Campaign データ・ファイルを Hive サーバーにコピーするためのシェル・スクリプトを作成した場合は、これを変更する必要があります。例:
    #!/bin/sh
    ssh <USER>@<HADOOP NODE WITH IMPALA> "mkdir -p $2" #Operating system location
    scp $1 <USER>@<HADOOP NODE WITH IMPALA>:$2 # SCP data file to Impala Server
    filename=$(basename "$1")
    extension="${filename##*.}"
    filename="${filename%.*}"
    #Moving Campaign data file with name containing special characters is prohibited, so extracting extension and file names
    ssh <USER>@<HADOOP NODE WITH IMPALA> "mv $2/`basename $1` $2/$filename"
    ssh <USER>@<HADOOP NODE WITH IMPALA> "hadoop fs -put -f $2/$filename $2"
    ssh <USER>@<HADOOP NODE WITH IMPALA> "hadoop fs -mv $2/$filename $2/$filename.$extension"
    ssh <USER>@<HADOOP NODE WITH IMPALA> "hadoop fs -chmod 0777 $2/$filename.$extension"
     
    LoaderPreLoadDataFileCopyCmd を使用する場合は、ファイル・ロケーションを更新する必要があります。例:
    scp <DATAFILE> <USER>@[hostname]:/opt/campaign/
    LoaderPostLoadDataFileRemoveCmd を使用する場合は、ファイル・ロケーションを更新する必要があります。例:
    ssh <USER>@<HADOOP NODE WITH IMPALA> "hadoop fs -rm $2/`basename $1`"

    DeleteAsRecreate

    この構成パラメーター値は FALSE に設定してください

    DeleteAsTruncate

    この構成パラメーター値は TRUE に設定してください

次のタスク