皆さんこんにちは。てくさぽBLOG メンバーの佐野です。
以前にメンバーがBluemix上のデータベースサービスである「dashDB」についての記事を作成しました。(話題のBluemixのトライアルライセンスを活用してBIシステムの構築検証をしてみよう! Vol.1 Bluemixアカウント作成、話題のBluemixのトライアルライセンスを活用してBIシステムの構築検証をしてみよう! Vol.2 dashDBの作成、データLoad)
今回はBluemix上のdashDBにローカルからデータをまとめてアップロードする方法を紹介します。その名も「Bluemix Lift」です。
1.大量データのアップロードにBluemix Liftを使う
以前の記事にあるようなやり方を使って、dashDBに対して手動で都度データをアップロードするという方法もありますが、取り込むテーブル毎にアップロードする必要があります。また、常に手動でのアップロードであるため、最新化をするために手間がかかります。
データの分析用途の場合には複数テーブルにまたがる大量のデータをアップロードする必要がありますので、手動での運用は現実的ではありません。
そのような場合に利用できる有効な方法として「Bluemix Lift」というサービスが用意されています。
Bluemix Liftは以下の特徴を持っています。
1.高速
高速に大容量データを移行するために、高速ファイル転送サービス「Aspera」の技術を利用しています。
2.セキュア
Bluemixとプライベート環境をセキュアに接続する「Secure Gateway」を利用します。またAsperaを用いたSSH通信によるセキュリティを確保しています。
3.簡単操作
オンプレミス環境に簡単にセットアップできます。また、WebブラウザからのGUI操作で移行ジョブを定義できます。
1-1.Bluemix Liftのデータ移行フロー
Bluemix Liftを利用する前に、どのようなフローでデータをアップロードするのかを簡単にまとめます。
(出典:http://www.ibm.com/developerworks/jp/analytics/library/ba-dashdb-bluemixlift/index.html)
関連するコンポーネントとしては、Bluemix環境とオンプレミス環境を繋ぐための「Secure Gateway」、ローカルのデータをSecure Gatewayへ渡すためのツールである「Slingshot」、最後にデータを移行するためのツールである「Bluemix Lift」この3つがあります。
これらのコンポーネントを利用してdashDBへデータを移行します。
Secure GatewayはBluemixへデータを送信するためのゲートウェイであるため、企業内に最低でも1つ立ててあれば共有して利用できますが、dashDBへ取り込むデータを送るためのSlingshotはデータを送信するシステム毎に必要です。
今回は1台のマシン上のデータをdashDBに取り込むので、Secure GatewayとSlingshotは同一マシンに導入しますが、実運用時にはSlingshotはデータソース毎に導入をするようにして下さい。
1-2.Bluemix Liftを利用する手順
Bluemix Liftを利用するためには以下の手順でインストール・構成設定を行う必要があります。
1.Secure Gatewayの構成(初回のみ)
2.ソースおよびターゲットのConnectionの設定(Slingshotのインストールを含む)
3.Activityの構成と実行
それぞれの具体的な手順についてこれから紹介していきますが、今回は手元にあるWindows 2012R2サーバー上に導入をしていきます。
1-3.Secure Gatewayを構成する
最初にSecure Gatewayを構成します。
・Bluemixのカタログから「Lift」サービスを選択します。(「データ&分析」サービスのところにあります)
・サービス名を入力し(ここでは「My-Lift」とします)、作成ボタンを押します。
・表示された画面の「LAUNCH」ボタンを押します。
・「1. Add Secure Gateway」ボタンを押します。
・「ゲートウェイの追加」ボタンを押します。
・ゲートウェイの追加欄にゲートウェイ名を入力し(ここでは「My-Gateway」とします)ゲートウェイの追加ボタンを押します。
ここまででSecure Gatewayの定義が作成されました。
次にSecure Gatewayのクライアントモジュールをダウンロードし導入します。
モジュールは「IBMインストーラ」「Docker」「IBM DataPower」の3種類のサポートされているクライアントが選択できます。今回はWindowsサーバーに導入するため「IBMインストーラ」を選択して進めます。
・画面を下にスクロールし、「クライアントの接続」ボタンを押します。
・後で使いますので、表示されている「ゲートウェイID」および「セキュリティー・トークン」をメモ帳などにコピー&ペーストしておきます。右端のアイコンをクリックするだけでクリップボードにコピーされますので便利ですね。
・Windowsのソフトウェア・インストーラーをダウンロードします。(実際にはお使いのプラットフォームに合わせてソフトウェア・インストーラーをダウンロード下さい。)
・ダウンロードしたプログラムを実行します。
・インストールフォルダーを聞かれるので任意のパスを指定して「Next」ボタンを押します。(ここでは「C:\Secure Gateway Client」とします)
・CLIの言語を選択し「Next」ボタンを押します。ここでは「English」を選択して進めます。
・Windowsサービスとして起動するかを聞かれるのでここではチェックを付けずに進めます。
・Secure Gatewayの「ゲートウェイID」と「セキュリティ・トークン」を聞かれますので、先ほどコピー&ペーストしたものをそれぞれ貼り付けて「Next」ボタンを押します。
・パスワードはオプションなので今回は特に指定せずに「Install」ボタンを押してインストールを開始します。
インストールが完了したら次はSecure Gatewayを起動します。
今回はコマンドラインを利用しますので、コマンドプロンプトから操作します。
左記の手順でインストールした先のディレクトリ下の「ibm\securegateway\client」ディレクトリへ移動し、以下のコマンドを実行します。
起動が成功すると、自動でブラウザが立ち上がり、Secure Gateway Clientの画面が表示されます。
次にACLをセットします。これはこの後にインストールをするSlingshotへSecure Gatewayへのアクセスを許可する設定となります。
Secure Gatewayを起動したコマンドプロンプトで、「acl allow :」コマンドを実行します。(ここでは全ての接続を許可します)
ここまででSecure Gatewayの導入設定は完了です。
続きは、こちら↓(※)をご覧ください。
【触ってみた】Bluemix LiftでdashDBにデータをアップロードの”2.ソースおよびターゲットのConnectionの設定”
※ビジネスパートナー専用サイト(MERITひろば)のコンテンツです。ログイン or 新規会員登録が必要となります。
この記事に関する、ご質問は下記までご連絡ください。
エヌアイシー・パートナーズ株式会社
技術支援本部
E-Mail:nicp_support@NIandC.co.jp