2021年09月

07

【てくさぽBLOG】WebSphere Hybrid Editionを導入してみた Vol.3 -アプリ導入編-

こんにちは。
てくさぽBLOGメンバーの岡田です。

IBM WebSphere Hybrid Edition(以下 WSHE)の導入をAzure上で検証してみた3回シリーズの3回目になります。

本記事ではWSHEで利用可能なアプリケーションのうち、Transformation AdvisorとCloud Foundry Migration Runtimeの導入検証を行いました。

WebSphere Hybrid Editionを導入してみた Vol.1 -OpenShift導入編-
WebSphere Hybrid Editionを導入してみた Vol.2 -WebSphere Liberty導入編-
WebSphere Hybrid Editionを導入してみた Vol.3 -アプリ導入編- *本編

1.WSHEで利用できるアプリケーション

WSHEではWebsphere以外に4つのアプリケーションを利用できます。今回はこのうちTransformation Advisor(以下 TA)とCloud Foundry Migration Runtime(以下 CFMR)の2つを導入してみました。

それぞれのアプリケーションを簡単に説明します。

TA:

オンプレミスで稼働しているJava EEアプリケーションやメッセージング環境をコンテナ環境へ移行・モダナイズできるかを簡単に調査・レポートできるツールです。WebSphereだけでなくWebLogic / Tomcat等のJavaEE環境、IBM MQも分析可能です。

CFMR:

Cloud Foundry アプリケーションを OpenShift 上で変更せずに実行することができる機能です。Cloud Foundryを利用していた管理者・開発者・ユーザーはこれまでのCloud Foundryと同様に利用できます。

 

2.事前準備

検証を行うにあたり、以下を用意しました。

・踏み台サーバー兼NFSサーバー・・・今回はAzure上にRHEL8の仮想サーバーを作成し、リモートからこのサーバーに接続して作業しました。Persistent VolumeがTAの前提環境として必要になるため、今回は作業用サーバー上でNFSサーバーを起動し、OpenshiftのワーカーノードからNFSマウントできることまで事前に確認しました。

・IBM ID ・・・ ライセンス・キーの入手に必要です。

・TA用プロジェクト・・・今回は”ta”という名前で事前にOpenshift Webコンソールにて作成しました。作成手順は以下になります。

(1)Openshift Webコンソールにて、Home-Projectsを選択します。画面右にある「Create Project」ボタンをクリックします。

(2)名前(Name)に「ta」と入力して「Create」ボタンをクリックします。

(3)Projectsのリストに作成した「ta」があることを確認します。

3.導入検証実施

IBM Cloud Pak CLI (cloudctl)を使用してコマンドラインから導入します。

以下の手順で導入を実施しました。

(1)ライセンス・キーの入手

以下のサイトにIBM IDでログインし、ライセンス・キーを入手します。ライセンス・キーが表示されたら「キーのコピー」をクリックして、ライセンス・キーを控えておきます。

https://myibm.ibm.com/products-services/containerlibrary

 

(2) cloudctl ツールのダウンロードとインストール

・cloudctlコマンドをダウンロードします。

$ curl -L https://github.com/IBM/cloud-pak-cli/releases/latest/download/cloudctl-linux-amd64.tar.gz -o cloudctl-linux-amd64.tar.gz
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100   155  100   155    0     0    593      0 –:–:– –:–:– –:–:–   596
100   635  100   635    0     0   1306      0 –:–:– –:–:– –:–:–  1306
100 12.2M  100 12.2M    0     0  6794k      0  0:00:01  0:00:01 –:–:– 11.2M
$

・ダウンロードしたファイルを解凍し、パスの通っているディレクトリに移動し、実行できることを確認します。

$ tar zxvf ./cloudctl-linux-amd64.tar.gz
cloudctl-linux-amd64
$ sudo mv ./cloudctl-linux-amd64 /usr/local/bin/cloudctl
[sudo] xxx のパスワード:
$ which cloudctl
/usr/local/bin/cloudctl
$ cloudctl
NAME:
cloudctl – A command line tool to interact with IBM Cloud Platform Common Services
and IBM Cloud PrivateUSAGE:
[environment variables] cloudctl [global options] command [arguments…] [command options](以下、省略)
(3)WebSphere Hybrid EditionのCASE アーカイブをダウンロード

TAとCFMRの両方のプログラムが含まれているCASE(ContainerApplication Software for Enterprises)アーカイブをダウンロードします。コマンド出力がすべて”Success”となっていることを確認します。

$ cloudctl case save –case https://github.com/IBM/cloud-pak/raw/master/repo/case/ibm-websphere-hybrid-1.0.0.tgz –outputdir ./wshe-case

Downloading and extracting the CASE …
– Success
Retrieving CASE version …
– Success
Validating the CASE …
Validating the signature for the ibm-websphere-hybrid CASE…
– Success
Creating inventory …
– Success
Finding inventory items
– Success
Resolving inventory items …
Parsing inventory items
Validating the signature for the ibm-cfmr CASE…
Validating the signature for the ibm-transadv CASE…
– Success

(4)CASEアーカイブの検証

・CP_USER および CP_APIKEY 環境変数を設定

$ export CP_USER=cp
$ export CP_APIKEY=<ライセンス・キー>

・oc クライアントを使用して、クラスターにログイン

$ oc login -u kubeadmin -p <パスワード> https://api.nicpwhecluster.xxx.com:6443
Login successful.You have access to 59 projects, the list has been suppressed.
You can list all projects with ‘oc projects’Using project “ta”.
$

・CASE アーカイブを検証し、ライセンスを表示

これ以降のcloudctlのコマンドはroot権限で実行しています。最後に”CASE launch script completed successfully OK”と出力されていることを確認します。

# cloudctl case launch –case wshe-case/ibm-websphere-hybrid-1.0.0.tgz –inventory installProduct –action initialize –args “–viewLicense”
Welcome to the CASE launcher
Attempting to retrieve and extract the CASE from the specified location
[?] CASE has been retrieved and extracted
Attempting to validate the CASE
[?] CASE has been successfully validated
Attempting to locate the launch inventory item, script, and action in the specified CASE
[?] Found the specified launch inventory item, action, and script for the CASE
Attempting to check the cluster and machine for required prerequisites for launching the item
Checking for required prereqs…(途中省略)Kubernetes RBAC Prerequisite Verbs Result Reason
*.*/ * trueUser permissions result: OK
[?] Cluster and Client Prerequisites have been met for the CASE
Running the CASE installProduct launch script with the following action context: initialize
Executing inventory item installProduct, action initialize : launch.sh
[?] CASE launch script completed successfully
OK
#
(5)インストール構成ファイルを解凍し、確認

tgzファイルを解凍し、展開されたファイルを確認します。

# cloudctl case launch –case wshe-case/ibm-websphere-hybrid-1.0.0.tgz –inventory installProduct –action initialize –args “–acceptLicense”
Welcome to the CASE launcher
Attempting to retrieve and extract the CASE from the specified location
[?] CASE has been retrieved and extracted
Attempting to validate the CASE
[?] CASE has been successfully validated
Attempting to locate the launch inventory item, script, and action in the specified CASE
[?] Found the specified launch inventory item, action, and script for the CASE
Attempting to check the cluster and machine for required prerequisites for launching the item
Checking for required prereqs…Prerequisite Result
Client docker CLI must meet the following regex: version (1[7-9]|[2-9][0-9]). false
Client podman CLI must meet the following regex: version 1.([4-9]|[1-8][0-9]|9[0-9]). trueRequired prereqs result: OK
Checking user permissions…Kubernetes RBAC Prerequisite Verbs Result Reason
*.*/ * trueUser permissions result: OK
[?] Cluster and Client Prerequisites have been met for the CASE
Running the CASE installProduct launch script with the following action context: initialize
Executing inventory item installProduct, action initialize : launch.sh
[?] CASE launch script completed successfully
OK
# ls -al ./wshe-case/
total 824
drwxr-xr-x. 3 root root 4096 Mar 5 08:15 .
dr-xr-x—. 7 root root 198 Mar 9 05:04 ..
drwxr-xr-x. 2 root root 6 Mar 5 08:15 charts
-rw-r–r–. 1 root root 32 Mar 5 08:15 ibm-cfmr-1.0.0-charts.csv
-rw-r–r–. 1 root root 10274 Mar 5 08:15 ibm-cfmr-1.0.0-images.csv
-rw-r–r–. 1 root root 223820 Mar 5 08:15 ibm-cfmr-1.0.0.tgz
-rw-r–r–. 1 root root 32 Mar 5 08:15 ibm-transadv-2.4.1-charts.csv
-rw-r–r–. 1 root root 4216 Mar 5 08:15 ibm-transadv-2.4.1-images.csv
-rw-r–r–. 1 root root 506537 Mar 5 08:15 ibm-transadv-2.4.1.tgz
-rw-r–r–. 1 root root 32 Mar 5 08:15 ibm-websphere-hybrid-1.0.0-charts.csv
-rw-r–r–. 1 root root 1195 Mar 5 08:15 ibm-websphere-hybrid-1.0.0-images.csv
-rw-r–r–. 1 root root 67571 Mar 5 08:15 ibm-websphere-hybrid-1.0.0.tgz#
(6)cloudctl CASE インストーラーを実行

最後に”CASE launch script completed successfully OK”と出力されていることを確認します。

# cloudctl case launch –case wshe-case/ibm-websphere-hybrid-1.0.0.tgz –inventory installProduct –action install –args “–acceptLicense”
Welcome to the CASE launcher
Attempting to retrieve and extract the CASE from the specified location
[?] CASE has been retrieved and extracted
Attempting to validate the CASE
[?] CASE has been successfully validated
Attempting to locate the launch inventory item, script, and action in the specified CASE
[?] Found the specified launch inventory item, action, and script for the CASE
Attempting to check the cluster and machine for required prerequisites for launching the item
Checking for required prereqs…Prerequisite Result
openshift Kubernetes version must be >=1.17.0, <1.19.0 true
Kubernetes node resource must match a set of expressions defined in prereqs.yaml true
Client docker CLI must meet the following regex: version (1[7-9]|[2-9][0-9]). false
Client podman CLI must meet the following regex: version 1.([4-9]|[1-8][0-9]|9[0-9]). trueRequired prereqs result: OK
Checking user permissions…Kubernetes RBAC Prerequisite Verbs Result Reason
*.*/ * trueUser permissions result: OK
[?] Cluster and Client Prerequisites have been met for the CASE
Running the CASE installProduct launch script with the following action context: install
Executing inventory item installProduct, action install : launch.shStarting Install ***************************************************************Login To Cluster…
okstdout:
Using provided cluster configuration.
Logged in as kube:admin.Get Cluster Server Address…
okstdout:
https://api.nicpwhecluster.xxx.com:6443Save Cluster Server Address…
okCheck Cluster Version…
okstdout:
OpenShift 4.5.31 detected.Check Cluster Administrator Role…
okstdout:
yesGet Authorization Endpoint…
okstdout:
https://oauth-openshift.apps.nicpwhecluster.xxx.com/oauth/authorizeSave Authorization Endpoint…
okGet Default Cluster Subdomain…
okstdout:
apps.nicpwhecluster.azure-cloudpak-nicptest.comSet Cluster Subdomain…
okCheck Entitled Registry Variables…
okGet Existing Operator Subscriptions…
okstdout:
{
“other”: {}
}Set Subscriptions Properties…
okSwitch To Transformation Advisor Project…
donestdout:
Switched to ta project.Populate Transformation Advisor Operator Configuration…
doneCreate Pull Secret…
donestdout:
secret/wshe-pull-secret createdInstall Transformation Advisor Operator…
donestdout:
operatorgroup.operators.coreos.com/ta created
subscription.operators.coreos.com/wshe-transadv createdConfigure Transformation Advisor Service Account…
donestdout:
clusterrole.rbac.authorization.k8s.io/cluster-admin added: “system:serviceaccount:ta:ta-operator”stderr:
Warning: ServiceAccount ‘ta-operator’ not foundAdd Security Context Constraints To User…
donestdout:
securitycontextconstraints.security.openshift.io/anyuid added to: [“system:serviceaccount:ta:default”]Check for Transformation Advisor Operator…
okGet wshe-transadv ClusterServiceVersion…
Retrying… (1 of 51)
Retrying… (2 of 51)
okstdout:
ta-operator.v2.3.4Check ta-operator.v2.3.4 ClusterServiceVersion…
Retrying… (1 of 51)
Retrying… (2 of 51)
Retrying… (3 of 51)
Retrying… (4 of 51)
Retrying… (5 of 51)
Retrying… (6 of 51)
Retrying… (7 of 51)
Retrying… (8 of 51)
okSwitch To Cloud Foundry Migration Runtime Project…
donestdout:
Created cfmr-operator project.Create Pull Secret…
donestdout:
secret/wshe-pull-secret createdConfigure Cloud Foundry Migration Runtime Service Account…
donestdout:
clusterrole.rbac.authorization.k8s.io/cluster-admin added: “system:serviceaccount:cfmr-operator:wshe-ibmcfmrprod-ibm-cfmr-serviceaccount”
clusterrole.rbac.authorization.k8s.io/self-provisioner added: “system:serviceaccount:cfmr-operator:wshe-ibmcfmrprod-ibm-cfmr-serviceaccount”stderr:
Warning: ServiceAccount ‘wshe-ibmcfmrprod-ibm-cfmr-serviceaccount’ not found
Warning: ServiceAccount ‘wshe-ibmcfmrprod-ibm-cfmr-serviceaccount’ not foundAdd Security Context Constraints…
donestdout:
securitycontextconstraints.security.openshift.io/restricted added to: [“system:serviceaccount:cfmr-operator:wshe-ibmcfmrprod-ibm-cfmr-serviceaccount”]Install Cloud Foundry Migration Runtime Operator…
donestdout:
customresourcedefinition.apiextensions.k8s.io/ibmcfmrprods.cfmr.ibm.com created
serviceaccount/cfmr-operator created
clusterrole.rbac.authorization.k8s.io/cfmr-operator created
clusterrolebinding.rbac.authorization.k8s.io/cfmr-operator created
deployment.apps/cfmr-operator createdCheck for Cloud Foundry Migration Runtime Operator…
Retrying… (1 of 51)
Retrying… (2 of 51)
Retrying… (3 of 51)
Retrying… (4 of 51)
Retrying… (5 of 51)
okstdout:
All cfmr-operator pods are running and are ready.Switch To Cloud Foundry Migration Runtime Project…
donestdout:
Switched to cfmr-operator project.Get Default Pull Secret…
skippedSet Project Pull Secret…
skippedPopulate Cloud Foundry Migration Runtime Custom Resource…
doneInstall Cloud Foundry Migration Runtime Resource…
donestdout:
ibmcfmrprod.cfmr.ibm.com/wshe-ibmcfmrprod createdWait for Cloud Foundry Migration Runtime Install…
Retrying… (1 of 301)
Retrying… (2 of 301)
Retrying… (3 of 301)
(途中省略)
Retrying… (79 of 301)
Retrying… (80 of 301)
Retrying… (81 of 301)
Retrying… (82 of 301)
Retrying… (83 of 301)
okstdout:
The wshe-ibmcfmrprod-ibm-cfmr job has completed successfullystderr:
+ NAMESPACE=cfmr-operator
+ LABEL_QUERY=release=wshe-ibmcfmrprod
+ sleep 10
++ oc -n cfmr-operator get job -l release=wshe-ibmcfmrprod -o ‘jsonpath={range .items[*]}{@.metadata.name}{end}’
+ JOBS=wshe-ibmcfmrprod-ibm-cfmr
+ for JOB_ENTRY in $JOBS
++ oc -n cfmr-operator get job wshe-ibmcfmrprod-ibm-cfmr -o ‘jsonpath={.status.active}’
+ JOB_ACTIVE=
++ oc -n cfmr-operator get job wshe-ibmcfmrprod-ibm-cfmr -o ‘jsonpath={.status.failed}’
+ JOB_FAILED=
++ oc -n cfmr-operator get job wshe-ibmcfmrprod-ibm-cfmr -o ‘jsonpath={.status.succeeded}’
+ JOB_SUCCEEDED=1
+ ‘[‘ -n ” ‘]’
+ ‘[‘ -n ” ‘]’
+ ‘[‘ -n 1 ‘]’
+ echo ‘The wshe-ibmcfmrprod-ibm-cfmr job has completed successfully’
+ exit 0Get Cloud Foundry Migration Runtime UI Route…
donestdout:
xx.xx.xx.xx(外部IPアドレス)

set_fact…
ok

Switch To Transformation Advisor Project…
done

stdout:
Switched to ta project.

Get Default Pull Secret…
skipped

Set Project Pull Secret…
skipped

Generate Certificate and Create Transformation Advisor Secret…
done

stdout:
Secret transformation-advisor-secret already exists

Load Generated Transformation Advisor Certificate…
ok

Populate Transformation Advisor Custom Resource…
done

Load Transformation Advisor Custom Resource…
ok

Customize Transformation Advisor Custom Resource…
done

Check Transformation Advisor Custom Resource…
ok

msg:
All assertions passed

Install Transformation Advisor Custom Resource…
done

stdout:
transadv.charts.ta.cloud.ibm.com/ta created

Check For Transformation Advisor UI…
Retrying… (1 of 51)
Retrying… (2 of 51)
Retrying… (3 of 51)
Retrying… (4 of 51)
Retrying… (5 of 51)
Retrying… (6 of 51)
Retrying… (7 of 51)
Retrying… (8 of 51)
ok

stdout:
All ui pods are running.

Check For Transformation Advisor Database…
Retrying… (1 of 26)
Retrying… (2 of 26)
Retrying… (3 of 26)
Retrying… (4 of 26)
Retrying… (5 of 26)
ok

stdout:
All couchdb pods are running.

Check For Transformation Advisor Server…
Retrying… (1 of 51)
Retrying… (2 of 51)
Retrying… (3 of 51)
Retrying… (4 of 51)
Retrying… (5 of 51)
Retrying… (6 of 51)
Retrying… (7 of 51)
Retrying… (8 of 51)
Retrying… (9 of 51)
Retrying… (10 of 51)
Retrying… (11 of 51)
ok

stdout:
All server pods are running.

Annotate Transformation Advisor Deployments…
done

stdout:
deployment.apps/ta-ew7tae-couchdb patched
deployment.apps/ta-ew7tae-server patched
deployment.apps/ta-ew7tae-ui patched

Get Transformation Advisor UI Route…
done

stdout:
ta-apps.apps.nicpwhecluster.azure-cloudpak-nicptest.com

set_fact…
ok

Mark Installation Complete…
done

Install successful *************************************************************

Installation complete.

The IBM Transformation Advisor UI is available at: https://ta-apps.apps.nicpwhecluster.xxx.com

The IBM Cloud Foundry Migration Runtime UI is available at: https://ui.xx.xx.xx.xx.nip.io

[?] CASE launch script completed successfully
OK

#

コマンド出力の最後にTAとCMFRそれぞれのアクセスするURLが表示されますのでメモしておきます。

(7)接続確認

TA:以下のURLにWebブラウザでアクセスしてページが表示されることを確認します。

https://ta-apps.apps.nicpwhecluster.xxx.com

CMFR:こちらも同様に以下のURLにアクセスしてページが表示されることを確認します。

https://ui.<外部IPアドレス>.nip.io

これで導入検証は完了です。
 

補足

以上が導入検証を実施した際の内容となりますが、現在は一部手順が更新されています。TAとCFMRは個別で導入するようにマニュアルが更新されています。これから導入される方は以下のマニュアルを確認の上、実施してみてください。

https://www.ibm.com/docs/en/websphere-hybrid?topic=installation
 

最後に

いかがでしたでしょうか。WindowsアプリやLinuxのrpmパッケージのインストールのようには簡単ではないので、すこし難しいかなと感じました。cloudctlコマンドとCASEの利用はTA、CFMRそれぞれ単体の導入でも同様に行いますので、その際にこの記事が参考になればと思います。

ここまでお読みいただきありがとうございました。
 

お問い合わせ

この記事に関するご質問は下記までご連絡ください。

エヌアイシー・パートナーズ株式会社
技術支援本部

E-Mail:nicp_support@NIandC.co.jp

 

その他の記事

2024年04月08日

【てくさぽBLOG】watsonx Assistant + Watson Discovery + watsonx.aiを連携してみた

こんにちは。てくさぽBLOGメンバーの高村です。 ビジネスへの生成AI の取り込みに注目が集まっている今日、watsonx.ai をどう活用すればいいのか、多くのお客様からお問い合わせ頂いています。そこで前回の「【てくさぽBLOG】IBM watsonx.aiを使ってみた(Part2)」では、watsonx.ai のユースケースとして Retrieval-Augmented Generation(以下 RAG)をご紹介しました。 今回は、RAG の仕組みを利用し AIチャットボットを提供する「watsonx Assistant(以下 Assistant)」と検索エンジン機能を提供する「Watson Discovery(以下 Discovery)」、「watsonx.ai」を組み合わせた連携ソリューションをご紹介します。 目次 AssistantとDiscoveryの連携 watsonx.aiを取り入れた連携 Assistant + Discovery + watsonx.aiを連携してみた さいごに お問い合わせ AssistantとDiscoveryの連携 本来なら各製品を一つのブログで詳しくご説明したいところですが、今回は連携した結果についてのご紹介となりますので、Assistant と Discovery については今後のブログであらためてご紹介したいと思います。 Assistant は watsonx の大規模言語モデルが搭載され、自然言語の問い合わせを理解し、適切な回答を返すことができるチャットボット機能を提供する製品です。一方 Discovery はドキュメントから適切な情報を検索する検索エンジン機能、パターンや傾向を読み取る分析エンジンとしての機能を備えた製品です。 Assistant と Discovery を組合わせたユースケースでは Assistant にあらかじめ回答を用意してルールベースで回答させ、答えることが難しい問い合わせに対しては Discovery の検索結果を利用して回答します。 watsonx.aiを取り入れた連携 上記の連携では Discovery の検索結果がユーザーに表示される仕組みとなっていますが、watsonx.ai を介して回答を提供することでDiscovery が得た検索結果をさらに整理し、より理解しやすい形での返答が実現できます。 Assistant + Discovery + watsonx.aiを連携してみた Assistant、Discovery、watsonx.ai を連携してみます。 事前準備 利用環境 今回は IBM Cloud で提供される SaaS を利用して検証します。なお、Assistant と Discovery の Plusプランは30日間無償期間が付属されていますので、是非ご活用ください。 watsonx Assistant:Plusプラン(30日間無償期間あり、以降は有償) Watson Discovery:Plusプラン(30日間無償期間あり、以降は有償) watsonx.ai:Essentialプラン(有償) 検証の目的 検証では構築手順の他、以下の点を確認します。 「Assistant + Discovery + watsonx.ai」と「Assistant + Discovery」の連携による回答の違いを比較 言語モデルを変えて問い合わせを行い、回答の違いの比較 実施手順 以下の流れで検証を実施します。 Assistantのプロビジョニング Discoveryのプロビジョニング、検索対象とするデータの取り込み※取り込むデータは「IBM Power S1014 データシート」のS1014のPDF watsonx.aiのプロビジョニング Assistantの初期設定 Assistantのカスタム拡張機能からDiscoveryを繋げる Assistantのカスタム拡張機能からwatsonx.aiを繋げる Assistantアクションの作成、問い合わせの検証 言語モデルを変えて問い合わせの検証 検証実施 1. Assistantのプロビジョニング はじめに Assistant のプロビジョニングを行います。 IBM Cloud にログインし、カタログ画面から "Assistant" を選択します。 ロケーションとプランを選択し「作成」をクリックします。 しばらくすると以下の画面の様に、Assistant がプロビジョニングされます。 2. Discoveryのプロビジョニング 次に Discovery をプロビジョニングします。 カタログ画面から "Discovery" を選択します。 ロケーションとプランを選択し「作成」をクリックします。 しばらくすると以下の画面の様に、Discovery がプロビジョニングされます。※ここで、資格情報内にある「API鍵」と「URL」をメモに控えます 「Watson Discoveryの起動」をクリックし「New Project +」をクリックします。 Project name に任意の名前を入力、Project type では「Conversational Serch」を選択し「Next」をクリックします。 作成されたプロジェクトをクリックします。 「Integration Deploy」をクリックします。 「API Information」タブをクリックし「Project ID」をメモに控えます。 次に検索対象の PDF を Discovery に取り込みます。 「Manage collections」から「New collection +」をクリックし、「Collection name」に任意の名前を入力、「Select language」を「Japanese」に設定します。 Upload files の領域に PDF をドラッグアンドドロップして「Finish」をクリックします。 アップロードが完了しました。次に、Smart Document Understanding機能(以下 SDU)を利用して PDF内のヘッダーやテキストなどのフィールドを定義します。 SDU は、PDFをはじめとする非構造化データの文書構造を理解して検索や分析の精度を向上させる機能です。例えばタイトルと定義した箇所を検索キーとしたり、検索対象をテキストと定義した箇所のみとするなど可能になります。 「Identify Field」タブをクリックします。 取り込んだ PDF が表示されるので右側の Field labels からヘッダー箇所やタイトル箇所などをドラッグアンドドロップして指定していきます。 ページの定義が終わったら「Submit page」をクリックして次の頁を定義していきます。 SDU では数ページ指定すると自動的にヘッダー箇所やテキスト箇所を認識してくれるので、何ページもあるドキュメントには便利な機能です。 今回は SDU を使って PDF の文書構造を定義しました。SDU以外の Discovery の機能については、また別の機会にご紹介したいと思います。 3. watsonx.aiのプロビジョニング ※watsonx.ai のプロビジョニング方法は「【てくさぽBLOG】IBM watsonx.aiを使ってみた(Part1)」をご参照ください。 4. Assistantの初期設定 Assistant の初期設定を行います。 Assistant を起動します。 起動後、以下の項目を入力します。 Assistant name:任意の名前を入力 Assistant Language:「English」を選択※日本語を選択することが可能ですが、Assistant のスターターキットは英語での利用を想定しているため今回はEinglishを選択します Assistant の公開先を「web」に設定します。※"Tell us about your self" 以降はご自身の情報を入力ください 入力後「Next」をクリックします。 デフォルトのチャットUI を利用するため「Next」をクリックします。 プレビュー画面が表示されるので「Create」をクリックします。(以下の画面は「Create」が隠れてしまっています) 「Congratulations!」と表示されたら初期設定は完了です。 5. Assistantのカスタム拡張機能からDiscoveryを繋げる 「Githubのassistant-toolkit」から "watson-discovery-query-openapi.jsonファイル" をダウンロードします。 Assistant のメニューから「Integration」をクリックします。 下にスクロールし「Build custom extension」をクリックします。 以下の画面が表示されるので「Next」をクリックします。 「Extension name」に任意の名前を入力し「Next」をクリックします。 先程ダウンロードした watson-discovery-query-openapi.jsonファイルをドラッグアンドドロップでアップロードします。 以下の画面が表示されるので「Finish」をクリックします。 追加した Extension の「Add +」をクリックします。 以下の画面が表示されるので「Next」をクリックします。 以下の画面が表示されるので、選択および入力します。 Authentication type:「Basic auth」を選択 Username:「apikey」と入力 Password:メモに控えたWatson DiscoveryのAPI鍵 discovery_url:メモに控えたWatson DiscoveryのURLから"http://"を除いた値 ※以下の画面ショットは discovery_url入力箇所が切れてしまっていますが、実際は「Servers」の下に discovery_url の項目があります 以下の画面が表示されるので「Finish」をクリックします。 Extension が「Open」となっていることを確認します。 これで watsonx Assistant と Watson Discovery が連携できました。 6. Assistantのカスタム拡張機能からwatsonx.aiを繋げる 次に、Assistant のカスタム拡張機能から watsonx.ai を利用できるように設定します。 設定には IBM Cloud の APIキーと watsonx.ai のプロジェクトID が必要です。取得方法は「【てくさぽBLOG】IBM watsonx.aiを使ってみた(Part2)」をご参照ください。なお、今回は東京リージョンで watsonx.ai をプロビジョニングします。 Github の「assistant-toolkit」から "watsonx-openapi.json" をダウンロードします。 Visual Studio Code などで東京リージョンの URL に編集し保存します。 Discovery の連携と同様に、Assistant のメニューから「Integration」「Build custom extension」をクリックします。 以下の画面が表示されるので、任意の Extension name を入力して「Next」をクリックします。 編集した watson-discovery-query-openapi.jsonファイルをドラッグアンドドロップでアップロードして「Next」をクリックします。 以下の画面が表示されるので「Finish」をクリックします。 追加した Extension の「Add +」をクリックします。 以下の画面が表示されるので、選択および入力します。 Authentication type:「Oauth 2.0」を選択 Grant type:「Custom apikey」を入力 apikey:取得済みのIBM CloudのAPIキー Client authentication:「Send as Body」を選択 Header prefix:Bearer(デフォルト) Servers:https://jp-tok.ml.cloud.ibm.com(自動入力) 以下の画面が表示されるので「Finish」をクリックします。 Extension が「Open」となっていることを確認します。 これで Assistant と watsonx.ai が連携できました。 7. Assistantアクションの作成、問い合わせの検証 Github の「assistant-toolkit」から "discovery-watsonx-actions.json" をダウンロードします。 Assistant の「Actions」から「Global Setting」をクリックします。 「Upload/Download」タブをクリックし、Uploadスペースに discovery-watsonx-actions.json をドラッグアンドドロップしてアップロードします。 以下の画面が表示されるので「Upload and replace」をクリックします。 以下の画面の通り、3つのアクションが作成されます。 メニューから「Variables」「Created by you」をクリックします。 「discovery_project_id」の値をメモに控えていた Discovery のプロジェクトID を入力し「Save」をクリックします。 「watsonx_project_id」の値をメモに控えて置いた watsonx.ai のプロジェクトID を入力し「Save」をクリックします。 「model_id」の値で watsonx.ai で使用する言語モデルを指定します。2024年2月29日に GA された日本語で訓練された Granite-japaneseモデルを使用するため、「ibm/granite-8b-japanese」を入力し「Save」をクリックします。(その他変数はデフォルト値とします) 「Actions」から「Generate Answer」を選択し、「model_input」の値を以下の例の様に日本語に変更します。 例: ("<s>[INST] <<SYS>>\nあなたは親切で、礼儀正しく、誠実なアシスタントです。常に安全を保ちながら、できるだけ役立つように答えてください。答えは簡潔に日本語で回答してください。回答には、有害、非倫理的、人種差別的、性差別的、有毒、危険、または違法なコンテンツを含めてはいけません。回答が社会的に偏見がなく、本質的に前向きであることを確認してください。\n\n質問が意味をなさない場合、または事実に一貫性がない場合は、正しくないことに答えるのではなく、その理由を説明してください。質問の答えがわからない場合は、誤った情報を共有しないでください。\n<</SYS>>\n\n質問に答えることで、次のエージェントの応答を生成します。タイトルが付いたいくつかの文書が提供されます。答えが異なる文書から得られた場合は、あらゆる可能性について言及し、文書のタイトルを使用してトピックまたは領域を区切ってください。与えられた文書に基づいて回答できない場合は、回答がない旨を記載してください。\n\n").concat(passages).concat("\n\n[question]: ").concat(query_text).concat("[/INST]") 以上で設定は完了です。 さっそく Assistant から問い合わせをしてみます。 右下の「Preview」をクリックします。 チャットから S1014 の特徴について問い合わせしてみます。約18秒後に以下の回答が返ってきました。 「Inspect」をクリックすると、Discovery の検索結果が以下の通り watsonx.ai に渡されていることがわかります。 <s>[INST] <<SYS>> あなたは親切で、礼儀正しく、誠実なアシスタントです。常に安全を保ちながら、できるだけ役立つように答えてください。答えは簡潔に日本語で回答してください。回答には、有害、非倫理的、人種差別的、性差別的、有毒、危険、または違法なコンテンツを含めてはいけません。回答が社会的に偏見がなく、本質的に前向きであることを確認してください。 質問が意味をなさない場合、または事実に一貫性がない場合は、正しくないことに答えるのではなく、その理由を説明してください。質問の答えがわからない場合は、誤った情報を共有しないでください。 <</SYS>> 質問に答えることで、次のエージェントの応答を生成します。タイトルが付いたいくつかの文書が提供されます。答えが異なる文書から得られた場合は、あらゆる可能性について言及し、文書のタイトルを使用してトピックまたは領域を区切ってください。与えられた文書に基づいて回答できない場合は、回答がない旨を記載してください。[title]: IBM Power S1014 柔軟かつセキュアなハイブリッドクラウド・インフ ラストラクチャーで俊敏性を実現[document]: 1 コ ア 当 た り 4 つ の M a t r i x Math Acceleratorによる迅速 なAI推論のために洞察と自動 化を合理化 業界標準のDIMMより2倍優 れたメモリーの信頼性と可用 性を提供 IBM® Power® S1014 は、1ソケット、4U Power10プロセッサーをベースにしたサー バーで、IBM AIX®、IBM iまたは Linux®上のビジネス・クリティカルなワークロード 向けに設計されています。Power S1014を使用することで、ワークロードはより 少数のサーバーに統合され、ソフトウェア・ライセンスの数、電力と冷却のコスト を削減します。Power S1014サーバーは、プロセッサー上でのメモリー暗号化を 使用してエンドツーエンドからデータを安全に保護し、ラック型またはタワーフォー ム・ファクターで購入できます。 プロセッサー・レベルでのメモリー暗号化と、POWER9 と比較してすべてのコア で4倍の暗号化エンジンによりコアからクラウドまでのデータを保護 ますます高度に分散した環境に存在するデータには、もはや境界線を設定すること は不可能です。 [question]: S1014の特徴は?[/INST] Assistant と Discovery のみの連携で検索した結果は以下の通りです。watsonx.ai を使用した方がより簡潔で分かりやすい回答を得られることが分かります。 8. 言語モデルを変えて問い合わせの検証 言語モデルを "llama-2-70b" にして同様の問い合わせをしたところ、約24秒後に回答が返ってきました。箇条書きで丁寧な印象です。 言語モデルを "elyza-japanese" にした際は10秒ほどで回答がありました。主語として「S1014の特徴は」とあることで、問いに対する回答が分かりやすくなっています。 言語モデルを変えて試した結果、llama-2-70B は箇条書きで回答し丁寧な印象を受けましたが、回答が得られるまでに24秒かかりました。一方 Granite-japanese や elyza-japanese はシンプルな回答を生成し、Granite-japanese は18秒、elyza-japanese は10秒というより短い時間で回答を得られました。 Watson Discovery の検索結果に基づき watsonx.ai で回答を生成するので、ある程度時間がかかると予想していましたが、elyza-japanese は速い回答で主語を添えてわかりやすく回答してくれました。 また、llama-2-70B は汎用的で使いやすいモデルですが、プロントで「日本語で回答して」と指示をしても問い合わせ内容によっては英語で回答することがありました。日本語の回答精度を求める場合は、Granite-japanese や elyza-japanese を使用した方が精度の高い回答を得ることができます。 モデルを変えて問い合わせてみると、モデルごとに得意なタスクが異なることがわかりました。数百億のパラメータで訓練された大規模言語モデルを一概に選択するのではなく、言語やタスクの特性に合わせて最適なモデルを選定することが重要になりそうですね。 さいごに いかがでしたでしょうか。Github から提供されているスターターキットを使って Assistant、Discovery、watsonx.ai を繋げてみましたが、ほどんど躓くことなく UI から簡単に設定することができました。 接続自体に高度な難しさは感じませんでしたが、問い合わせに対して正確な情報を得るためには Assistant の検索設定を調整する必要があります。今回は1つの PDFファイルの検索を行いましたが、複数の PDFファイルから情報を引き出す際には Assistant で query を設定することで特定の PDFファイルからの検索が可能です。 このように PDF などの非構造化データを検索対象として精度の高い回答を得るには、Discovery において文書の構造を明確に定義し、Assistant の検索設定を調整することが必要です。 実際にヘルプデスクなどの Webチャットで利用する場合は、Assistant にあらかじめ用意した回答をルールベースで回答させ、それでも解決できない問い合わせについては Discovery を通じて検索を行い、watsonx.ai を用いて回答を生成するという流れが効果的です。 ただし、生成AI によって生成される回答は常に”100%正確な回答”ではないので、より高い精度の回答を追求するためにはプロンプトの調整などチューニングを施すことが必要です。その結果、より使いやすい Webチャットの実現が期待できます。 お問い合わせ エヌアイシー・パートナーズ株式会社E-Mail:nicp_support@NIandC.co.jp   .highlighter { background: linear-gradient(transparent 50%, #ffff52 90% 90%, transparent 90%); } .anchor{ display: block; margin-top:-20px; padding-top:40px; } .btn_A{ height:30px; } .btn_A a{ display:block; width:100%; height:100%; text-decoration: none; background:#eb6100; text-align:center; border:1px solid #FFFFFF; color:#FFFFFF; font-size:16px; border-radius:50px; -webkit-border-radius:50px; -moz-border-radius:50px; box-shadow:0px 0px 0px 4px #eb6100; transition: all 0.5s ease; } .btn_A a:hover{ background:#f56500; color:#999999; margin-left:0px; margin-top:0px; box-shadow:0px 0px 0px 4px #f56500; } .bigger { font-size: larger; }

2024年01月16日

【イベント開催レポート】IBM watsonx.ai ハンズオンセミナー

こんにちは。ソリューション推進部です。 2023年12月12日に、エヌアイシー・パートナーズ株式会社として初めてのハンズオンセミナー『「IBM watsonx.ai 」を利用したRAGのハンズオンセミナー』を開催しました。 今回のハンズオンセミナーは、以下の2つのことを目的として行いました。 パートナー様に製品の紹介とハンズオンを合わせて体験いただくことで、製品をより深く知っていただくこと 製品を活用したビジネスの新たな応用の可能性を見つけ出していただくこと 私たちのチームでは、パートナー様にご紹介・ご説明する製品を「実際に触ってみること」を大切にしています。これは私たち自身の技術力の向上という目的もありますが、パートナー様に私たちのリアルな経験を交えながら製品のご説明をすることが、お客様の具体的な課題発掘や案件創出に繋がっていると考えているためです。 今回のハンズオンを通して、パートナー様ご自身が製品の価値を体感しご理解いただくことで、新しいビジネス展開のイメージを創出するお役に立ちたいと考えました。 それでは、今回実施したセミナーの内容について簡単にご紹介いたします。 目次 レポート watsonx.ai紹介講義 ハンズオン実施 IBMさまによる最新情報紹介・講義 さいごに お問い合わせ レポート 1. watsonx.ai紹介講義 ハンズオンを実施する前に、watsonx.ai と RAG についての講義を行いました。 国内では生成AIビジネスが加速し、競争力やセキュリティなどの課題が増えています。これらの課題を解決する製品として、IBM watsonx をご紹介しました。 watsonx は「watsonx.ai」「watsonx.governance」「watsonx.data」という3つの製品から成り立っています。watsonx.ai は、基盤モデルをベースとした AI開発スタジオです。 ここでは、IBM が信頼できるデータを用いて事前に学習した基盤モデルや Hugging Face, Inc.* と連携したオープンソースの基盤モデルが利用可能で、ビジネスの状況や要件に応じて最適な基盤モデルを選択することが可能です。 また、RAG についての概念や利点、活用が期待されるシーンもご説明しました。RAG を用いた具体的なユースケースとしては、IBM Watson Speech to Text や Watson Discovery、watsonx.ai を活用したコールセンター業務の事例や、watsonx Assistant や Watson Discovery、watsonx.ai を活用した ECサイトの問い合わせの事例を取り上げました。 時間の制約からこれら2つの事例しかご紹介できませんでしたが、今後、watsonx.ai を活用した多様な事例を私たち自身も理解し、パートナーさまと共に議論を深めていきたいと思います。 *Hugging Face, Inc.:機械学習 アプリケーションを作成するためのツールを開発しているアメリカの企業。 2. ハンズオン実施 ハンズオンでは、受講者の方々に「RAG」を活用した watsonx.ai の Foundation Model(LLM)への問い合わせを体験していただきました。 RAG とは「Retrieval-Augmented Generation」の略で、LLM への問い合わせをする際に、事前に用意したベクターストアへデータ(今回はPDF)を取り込んでおき、問い合わせプロンプトをもとにベクターストアを検索し、その結果を付与して LLM へ問い合わせを行う、というテクノロジーです。 RAG を使うことで、一般公開されていない社内情報を活用して LLM を利用することが可能となるため、自社での利用やお客様の課題を解決するための方法として有効であると考えています。 ハンズオンの環境につきましては、準備に時間をかけずスムーズに始められるよう、事前に弊社にて PC や RAG を利用するための Jupyter Notebook を用意いたしました。 また、watsonx.ai では複数の Foundation Model を利用できるため、複数のモデルを使って挙動の違いを確認してみたり、取り込む PDFファイルを追加することで回答がどう変わるのか、など、ご自身で自由に検証をする時間を多く設けました。皆さまそれぞれに前提スキルは異なっていたかもしれませんが、「体験の時間が足りない…」ということはなかったかと思います。 今回ベクターストアへ取り込むのは PDF のみとしましたが、テキストファイルや PowerPoint なども取り込むことができるので、応用できる使い方が非常に広いということを理解いただけたのではないかと感じています。 3. IBMさまによる最新情報紹介・講義 日本アイ・ビー・エム データ・AI・オートメーション事業部 四元さまに「watsonx」に関して、最新事例と製品アップデート情報の2本立てで講義をしていただきました。 事例においては、IBM社内の watsonx活用事例(AskIT)は特筆すべきと言えるでしょう。 AskIT は、IBMの自然言語処理(NLP)能力を活かし、30万件を超えるサポートチケットから抽出された知見をもとに、重要なサポートトピックに迅速に対処する AIアシスタントとして開発されたそうです。このツールは4ヶ月で133,000人の IBM社員に利用され、問い合わせの75%以上が AI によるチャットで解決されるなど、非常に大きな成果を上げています。 製品アップデート情報のメインは、12月に発表された「watsonx.governance」でした。 AI を組織として採用するためには倫理感のある意思決定が必須であり、watsonx.governance は AIガバナンスとして以下の3つの機能を提供する製品である、というご説明をいただきました。 AIライフサイクルを通してAIモデルの実態を把握するための「モデル・インベントリ」 AIの性能や課題の管理などを行う「評価・モニタリング」 総合監視画面を提供しリスクを可視化する「モデル・リスクガバナンス」 モデル・インベントリでは、他社の AI商品である「Amazon SageMaker」「Azure Machine Learning」などの AIモデルも合わせて管理・監視できることが非常に興味深いです。 watsonx は、AIワークフローを一貫してサポートすることで倫理的かつ透明性の高い AI利用を可能にしています。これらの技術革新は私たちが直面している数多くの課題に対する解決策を見出し、先進的なビジネス環境を促進していく上での重要なステップと言えるでしょう。 日本アイ・ビー・エム株式会社 データ・AI・オートメーション事業部 四元 さま さいごに セミナー後には、参加いただいたパートナーさまとご支援いただいた IBMさまとの懇親会を開催いたしました。 当懇親会を通してパートナー様の生成AI に対する取り組みや課題を直に伺うことができ、大変有意義な場となりました。 2023年12月18日に弊社は10周年を迎えました。10年間で培った経験を糧にし、今後さらに新しい取り組みにチャレンジしていきたいと考えております。 本年も、ブログを通してパートナーの皆さまへ様々な情報をお届けさせていただきます!今後ともどうぞよろしくお願いいたします。 懇親会会場 お問い合わせ エヌアイシー・パートナーズ株式会社E-Mail:nicp_support@NIandC.co.jp   .highlighter { background: linear-gradient(transparent 50%, #ffff52 90% 90%, transparent 90%); } .anchor{ display: block; margin-top:-20px; padding-top:40px; } .btn_A{ height:30px; } .btn_A a{ display:block; width:100%; height:100%; text-decoration: none; background:#eb6100; text-align:center; border:1px solid #FFFFFF; color:#FFFFFF; font-size:16px; border-radius:50px; -webkit-border-radius:50px; -moz-border-radius:50px; box-shadow:0px 0px 0px 4px #eb6100; transition: all 0.5s ease; } .btn_A a:hover{ background:#f56500; color:#999999; margin-left:0px; margin-top:0px; box-shadow:0px 0px 0px 4px #f56500; } .bigger { font-size: larger; }

back to top