F. Campaign リスナー・サーバーと Hadoop クラスター間の接続を構成します。

このタスクについて

<Campaign_Home>/partitions/partition[n]/tmp にある一時データ・ファイルをフローチャートの実行中に作成される Impala サーバーにコピーするには、ローダー・スクリプトが必要です。

手順

IBM® Campaign サーバーから Cloudera Hadoop クラスターへの接続および Hadoop でのデータ・ファイルのアップロードに pscp (Putty ユーティリティー) を使用しています。
注: ここで PSCP ユーティリティーには、引数にプレーン・テキストでのパスワードが必要です。
LoaderPreLoadDataFileCopyCmd の構成:LoaderPreLoadDataFileCopyCmd = C:\MarketingSoftware11\Campaign\bin\CopytoHadoop.bat <DATAFILE> /tmp/

例

これはサンプルのスクリプトです。独自のバッチ・スクリプトを作成できます。

Sample Script of copytoHadoop.bat:
=========================================
REM This script is used to copy a file from IBM Campaign to any location on the 
Impala-based Hadoop system. The location must a valid HDFS location
@echo off
REM Operating System location
pscp -pw <password> "%1" <username>@<Hadoop Node with Impala>:"%2"
set filepath="%1"
for /F "delims=" %%i in (%filepath%) do set basename="%%~nxi"
for /F "delims=" %%i in (%filepath%) do set filename="%%~ni"
for /F "delims=" %%i in (%filepath%) do set fileExtension="%%~xi" 
REM Moving Campaign data with name containing special character is prohibited,
 so extracting
plink -pw <password> -ssh <username>@<Hadoop Node with Impala> "mv %2/%baseName% %2/%fileName%" 
plink -pw <password> -ssh <username>@<Hadoop Node with Impala> "hadoop fs -put -f %2/%fileName% %2" 
plink -pw <password> -ssh <username @<Hadoop Node with Impala> "hadoop fs -mv 
%2/%fileName% %2/%baseName%"
plink -pw <password> -ssh <username @ Hadoop Node with Impala> "hadoop fs -chmod 0777 %2/%baseName%
"=========================================
            LoaderPostLoadDataFileRemoveCmd
             =                               C:\MarketingSoftware10\Campaign\bin\
                       removeFromHadoop.bat <DATAFILE> /tmp/

IBM Campaign から Imapala ベースの Hadoop システムにある一時フォルダーにデータ・ファイルがコピーされます。その一時データ・ファイルを削除するために、SSH の "rm" コマンドを使用する必要があります。

一時データを Hadoop ファイル・システムから削除します。
一時データを OS ファイル・システムから削除します。

注:

LoaderPostLoadDataFileCopyCmd および LoaderPostLoadDataFileRemoveCmd が動作するために、Hadoop システムには TGT および、Hadoop ファイル・システムのファイルへの書き込み、変更、削除のアクセス権が必要です。
前述の構成はサンプル構成であり、詳細については「IBM Campaign インストレーション・ガイド」を参照してください。