特集・ブログ
コーポレートサイトに掲載している2024年度のブログやコラムの一覧です。 ハードウェアやソフトウェア製品に関するコラムやソリューション情報、それらの製品を使った弊社エンジニアのブログやホワイトペーパーなど皆様のビジネスにお役立てください。 コラム・ブログ一覧 カテゴリ タイトル 公開日 ブログ 【てくさぽBLOG】watsonx Assistant + Watson Discovery + watsonx.aiを連携してみた 24/04/08 アーカイブ 2023年度 2022年度 2021年度 2020年度 2019年度
こんにちは。てくさぽBLOGメンバーの高村です。 ビジネスへの生成AI の取り込みに注目が集まっている今日、watsonx.ai をどう活用すればいいのか、多くのお客様からお問い合わせ頂いています。そこで前回の「【てくさぽBLOG】IBM watsonx.aiを使ってみた（Part2）」では、watsonx.ai のユースケースとして Retrieval-Augmented Generation（以下 RAG）をご紹介しました。 今回は、RAG の仕組みを利用し AIチャットボットを提供する「watsonx Assistant（以下 Assistant）」と検索エンジン機能を提供する「Watson Discovery（以下 Discovery）」、「watsonx.ai」を組み合わせた連携ソリューションをご紹介します。 目次 AssistantとDiscoveryの連携 watsonx.aiを取り入れた連携 Assistant + Discovery + watsonx.aiを連携してみた さいごに お問い合わせ AssistantとDiscoveryの連携 本来なら各製品を一つのブログで詳しくご説明したいところですが、今回は連携した結果についてのご紹介となりますので、Assistant と Discovery については今後のブログであらためてご紹介したいと思います。 Assistant は watsonx の大規模言語モデルが搭載され、自然言語の問い合わせを理解し、適切な回答を返すことができるチャットボット機能を提供する製品です。一方 Discovery はドキュメントから適切な情報を検索する検索エンジン機能、パターンや傾向を読み取る分析エンジンとしての機能を備えた製品です。 Assistant と Discovery を組合わせたユースケースでは Assistant にあらかじめ回答を用意してルールベースで回答させ、答えることが難しい問い合わせに対しては Discovery の検索結果を利用して回答します。 watsonx.aiを取り入れた連携 上記の連携では Discovery の検索結果がユーザーに表示される仕組みとなっていますが、watsonx.ai を介して回答を提供することでDiscovery が得た検索結果をさらに整理し、より理解しやすい形での返答が実現できます。 Assistant + Discovery + watsonx.aiを連携してみた Assistant、Discovery、watsonx.ai を連携してみます。 事前準備 利用環境 今回は IBM Cloud で提供される SaaS を利用して検証します。なお、Assistant と Discovery の Plusプランは30日間無償期間が付属されていますので、是非ご活用ください。 watsonx Assistant：Plusプラン（30日間無償期間あり、以降は有償） Watson Discovery：Plusプラン（30日間無償期間あり、以降は有償） watsonx.ai：Essentialプラン（有償） 検証の目的 検証では構築手順の他、以下の点を確認します。 「Assistant + Discovery + watsonx.ai」と「Assistant + Discovery」の連携による回答の違いを比較 言語モデルを変えて問い合わせを行い、回答の違いの比較 実施手順 以下の流れで検証を実施します。 Assistantのプロビジョニング Discoveryのプロビジョニング、検索対象とするデータの取り込み※取り込むデータは「IBM Power S1014 データシート」のS1014のPDF watsonx.aiのプロビジョニング Assistantの初期設定 Assistantのカスタム拡張機能からDiscoveryを繋げる Assistantのカスタム拡張機能からwatsonx.aiを繋げる Assistantアクションの作成、問い合わせの検証 言語モデルを変えて問い合わせの検証 検証実施 1. Assistantのプロビジョニング はじめに Assistant のプロビジョニングを行います。 IBM Cloud にログインし、カタログ画面から "Assistant" を選択します。 ロケーションとプランを選択し「作成」をクリックします。 しばらくすると以下の画面の様に、Assistant がプロビジョニングされます。 2. Discoveryのプロビジョニング 次に Discovery をプロビジョニングします。 カタログ画面から "Discovery" を選択します。 ロケーションとプランを選択し「作成」をクリックします。 しばらくすると以下の画面の様に、Discovery がプロビジョニングされます。※ここで、資格情報内にある「API鍵」と「URL」をメモに控えます 「Watson Discoveryの起動」をクリックし「New Project +」をクリックします。 Project name に任意の名前を入力、Project type では「Conversational Serch」を選択し「Next」をクリックします。 作成されたプロジェクトをクリックします。 「Integration Deploy」をクリックします。 「API Information」タブをクリックし「Project ID」をメモに控えます。 次に検索対象の PDF を Discovery に取り込みます。 「Manage collections」から「New collection +」をクリックし、「Collection name」に任意の名前を入力、「Select language」を「Japanese」に設定します。 Upload files の領域に PDF をドラッグアンドドロップして「Finish」をクリックします。 アップロードが完了しました。次に、Smart Document Understanding機能（以下 SDU）を利用して PDF内のヘッダーやテキストなどのフィールドを定義します。 SDU は、PDFをはじめとする非構造化データの文書構造を理解して検索や分析の精度を向上させる機能です。例えばタイトルと定義した箇所を検索キーとしたり、検索対象をテキストと定義した箇所のみとするなど可能になります。 「Identify Field」タブをクリックします。 取り込んだ PDF が表示されるので右側の Field labels からヘッダー箇所やタイトル箇所などをドラッグアンドドロップして指定していきます。 ページの定義が終わったら「Submit page」をクリックして次の頁を定義していきます。 SDU では数ページ指定すると自動的にヘッダー箇所やテキスト箇所を認識してくれるので、何ページもあるドキュメントには便利な機能です。 今回は SDU を使って PDF の文書構造を定義しました。SDU以外の Discovery の機能については、また別の機会にご紹介したいと思います。 3. watsonx.aiのプロビジョニング ※watsonx.ai のプロビジョニング方法は「【てくさぽBLOG】IBM watsonx.aiを使ってみた（Part1）」をご参照ください。 4. Assistantの初期設定 Assistant の初期設定を行います。 Assistant を起動します。 起動後、以下の項目を入力します。 Assistant name：任意の名前を入力 Assistant Language：「English」を選択※日本語を選択することが可能ですが、Assistant のスターターキットは英語での利用を想定しているため今回はEinglishを選択します Assistant の公開先を「web」に設定します。※"Tell us about your self" 以降はご自身の情報を入力ください 入力後「Next」をクリックします。 デフォルトのチャットUI を利用するため「Next」をクリックします。 プレビュー画面が表示されるので「Create」をクリックします。（以下の画面は「Create」が隠れてしまっています） 「Congratulations!」と表示されたら初期設定は完了です。 5. Assistantのカスタム拡張機能からDiscoveryを繋げる 「Githubのassistant-toolkit」から "watson-discovery-query-openapi.jsonファイル" をダウンロードします。 Assistant のメニューから「Integration」をクリックします。 下にスクロールし「Build custom extension」をクリックします。 以下の画面が表示されるので「Next」をクリックします。 「Extension name」に任意の名前を入力し「Next」をクリックします。 先程ダウンロードした watson-discovery-query-openapi.jsonファイルをドラッグアンドドロップでアップロードします。 以下の画面が表示されるので「Finish」をクリックします。 追加した Extension の「Add +」をクリックします。 以下の画面が表示されるので「Next」をクリックします。 以下の画面が表示されるので、選択および入力します。 Authentication type：「Basic auth」を選択 Username：「apikey」と入力 Password：メモに控えたWatson DiscoveryのAPI鍵 discovery_url：メモに控えたWatson DiscoveryのURLから"http://"を除いた値 ※以下の画面ショットは discovery_url入力箇所が切れてしまっていますが、実際は「Servers」の下に discovery_url の項目があります 以下の画面が表示されるので「Finish」をクリックします。 Extension が「Open」となっていることを確認します。 これで watsonx Assistant と Watson Discovery が連携できました。 6. Assistantのカスタム拡張機能からwatsonx.aiを繋げる 次に、Assistant のカスタム拡張機能から watsonx.ai を利用できるように設定します。 設定には IBM Cloud の APIキーと watsonx.ai のプロジェクトID が必要です。取得方法は「【てくさぽBLOG】IBM watsonx.aiを使ってみた（Part2）」をご参照ください。なお、今回は東京リージョンで watsonx.ai をプロビジョニングします。 Github の「assistant-toolkit」から "watsonx-openapi.json" をダウンロードします。 Visual Studio Code などで東京リージョンの URL に編集し保存します。 Discovery の連携と同様に、Assistant のメニューから「Integration」「Build custom extension」をクリックします。 以下の画面が表示されるので、任意の Extension name を入力して「Next」をクリックします。 編集した watson-discovery-query-openapi.jsonファイルをドラッグアンドドロップでアップロードして「Next」をクリックします。 以下の画面が表示されるので「Finish」をクリックします。 追加した Extension の「Add +」をクリックします。 以下の画面が表示されるので、選択および入力します。 Authentication type：「Oauth 2.0」を選択 Grant type：「Custom apikey」を入力 apikey：取得済みのIBM CloudのAPIキー Client authentication：「Send as Body」を選択 Header prefix：Bearer（デフォルト） Servers：https://jp-tok.ml.cloud.ibm.com（自動入力） 以下の画面が表示されるので「Finish」をクリックします。 Extension が「Open」となっていることを確認します。 これで Assistant と watsonx.ai が連携できました。 7. Assistantアクションの作成、問い合わせの検証 Github の「assistant-toolkit」から "discovery-watsonx-actions.json" をダウンロードします。 Assistant の「Actions」から「Global Setting」をクリックします。 「Upload/Download」タブをクリックし、Uploadスペースに discovery-watsonx-actions.json をドラッグアンドドロップしてアップロードします。 以下の画面が表示されるので「Upload and replace」をクリックします。 以下の画面の通り、3つのアクションが作成されます。 メニューから「Variables」「Created by you」をクリックします。 「discovery_project_id」の値をメモに控えていた Discovery のプロジェクトID を入力し「Save」をクリックします。 「watsonx_project_id」の値をメモに控えて置いた watsonx.ai のプロジェクトID を入力し「Save」をクリックします。 「model_id」の値で watsonx.ai で使用する言語モデルを指定します。2024年2月29日に GA された日本語で訓練された Granite-japaneseモデルを使用するため、「ibm/granite-8b-japanese」を入力し「Save」をクリックします。（その他変数はデフォルト値とします） 「Actions」から「Generate Answer」を選択し、「model_input」の値を以下の例の様に日本語に変更します。 例： ("<s>[INST] <<SYS>>\nあなたは親切で、礼儀正しく、誠実なアシスタントです。常に安全を保ちながら、できるだけ役立つように答えてください。答えは簡潔に日本語で回答してください。回答には、有害、非倫理的、人種差別的、性差別的、有毒、危険、または違法なコンテンツを含めてはいけません。回答が社会的に偏見がなく、本質的に前向きであることを確認してください。\n\n質問が意味をなさない場合、または事実に一貫性がない場合は、正しくないことに答えるのではなく、その理由を説明してください。質問の答えがわからない場合は、誤った情報を共有しないでください。\n<</SYS>>\n\n質問に答えることで、次のエージェントの応答を生成します。タイトルが付いたいくつかの文書が提供されます。答えが異なる文書から得られた場合は、あらゆる可能性について言及し、文書のタイトルを使用してトピックまたは領域を区切ってください。与えられた文書に基づいて回答できない場合は、回答がない旨を記載してください。\n\n").concat(passages).concat("\n\n[question]: ").concat(query_text).concat("[/INST]") 以上で設定は完了です。 さっそく Assistant から問い合わせをしてみます。 右下の「Preview」をクリックします。 チャットから S1014 の特徴について問い合わせしてみます。約18秒後に以下の回答が返ってきました。 「Inspect」をクリックすると、Discovery の検索結果が以下の通り watsonx.ai に渡されていることがわかります。 <s>[INST] <<SYS>> あなたは親切で、礼儀正しく、誠実なアシスタントです。常に安全を保ちながら、できるだけ役立つように答えてください。答えは簡潔に日本語で回答してください。回答には、有害、非倫理的、人種差別的、性差別的、有毒、危険、または違法なコンテンツを含めてはいけません。回答が社会的に偏見がなく、本質的に前向きであることを確認してください。 質問が意味をなさない場合、または事実に一貫性がない場合は、正しくないことに答えるのではなく、その理由を説明してください。質問の答えがわからない場合は、誤った情報を共有しないでください。 <</SYS>> 質問に答えることで、次のエージェントの応答を生成します。タイトルが付いたいくつかの文書が提供されます。答えが異なる文書から得られた場合は、あらゆる可能性について言及し、文書のタイトルを使用してトピックまたは領域を区切ってください。与えられた文書に基づいて回答できない場合は、回答がない旨を記載してください。[title]: IBM Power S1014 柔軟かつセキュアなハイブリッドクラウド・インフ ラストラクチャーで俊敏性を実現[document]: 1 コ ア 当 た り 4 つ の M a t r i x Math Acceleratorによる迅速 なAI推論のために洞察と自動 化を合理化 業界標準のDIMMより2倍優 れたメモリーの信頼性と可用 性を提供 IBM® Power® S1014 は、1ソケット、4U Power10プロセッサーをベースにしたサー バーで、IBM AIX®、IBM iまたは Linux®上のビジネス・クリティカルなワークロード 向けに設計されています。Power S1014を使用することで、ワークロードはより 少数のサーバーに統合され、ソフトウェア・ライセンスの数、電力と冷却のコスト を削減します。Power S1014サーバーは、プロセッサー上でのメモリー暗号化を 使用してエンドツーエンドからデータを安全に保護し、ラック型またはタワーフォー ム・ファクターで購入できます。 プロセッサー・レベルでのメモリー暗号化と、POWER9 と比較してすべてのコア で4倍の暗号化エンジンによりコアからクラウドまでのデータを保護 ますます高度に分散した環境に存在するデータには、もはや境界線を設定すること は不可能です。 [question]: S1014の特徴は?[/INST] Assistant と Discovery のみの連携で検索した結果は以下の通りです。watsonx.ai を使用した方がより簡潔で分かりやすい回答を得られることが分かります。 8. 言語モデルを変えて問い合わせの検証 言語モデルを "llama-2-70b" にして同様の問い合わせをしたところ、約24秒後に回答が返ってきました。箇条書きで丁寧な印象です。 言語モデルを "elyza-japanese" にした際は10秒ほどで回答がありました。主語として「S1014の特徴は」とあることで、問いに対する回答が分かりやすくなっています。 言語モデルを変えて試した結果、llama-2-70B は箇条書きで回答し丁寧な印象を受けましたが、回答が得られるまでに24秒かかりました。一方 Granite-japanese や elyza-japanese はシンプルな回答を生成し、Granite-japanese は18秒、elyza-japanese は10秒というより短い時間で回答を得られました。 Watson Discovery の検索結果に基づき watsonx.ai で回答を生成するので、ある程度時間がかかると予想していましたが、elyza-japanese は速い回答で主語を添えてわかりやすく回答してくれました。 また、llama-2-70B は汎用的で使いやすいモデルですが、プロントで「日本語で回答して」と指示をしても問い合わせ内容によっては英語で回答することがありました。日本語の回答精度を求める場合は、Granite-japanese や elyza-japanese を使用した方が精度の高い回答を得ることができます。 モデルを変えて問い合わせてみると、モデルごとに得意なタスクが異なることがわかりました。数百億のパラメータで訓練された大規模言語モデルを一概に選択するのではなく、言語やタスクの特性に合わせて最適なモデルを選定することが重要になりそうですね。 さいごに いかがでしたでしょうか。Github から提供されているスターターキットを使って Assistant、Discovery、watsonx.ai を繋げてみましたが、ほどんど躓くことなく UI から簡単に設定することができました。 接続自体に高度な難しさは感じませんでしたが、問い合わせに対して正確な情報を得るためには Assistant の検索設定を調整する必要があります。今回は1つの PDFファイルの検索を行いましたが、複数の PDFファイルから情報を引き出す際には Assistant で query を設定することで特定の PDFファイルからの検索が可能です。 このように PDF などの非構造化データを検索対象として精度の高い回答を得るには、Discovery において文書の構造を明確に定義し、Assistant の検索設定を調整することが必要です。 実際にヘルプデスクなどの Webチャットで利用する場合は、Assistant にあらかじめ用意した回答をルールベースで回答させ、それでも解決できない問い合わせについては Discovery を通じて検索を行い、watsonx.ai を用いて回答を生成するという流れが効果的です。 ただし、生成AI によって生成される回答は常に”100%正確な回答”ではないので、より高い精度の回答を追求するためにはプロンプトの調整などチューニングを施すことが必要です。その結果、より使いやすい Webチャットの実現が期待できます。 お問い合わせ エヌアイシー・パートナーズ株式会社E-Mail：nicp_support@NIandC.co.jp .highlighter { background: linear-gradient(transparent 50%, #ffff52 90% 90%, transparent 90%); } .anchor{ display: block; margin-top:-20px; padding-top:40px; } .btn_A{ height:30px; } .btn_A a{ display:block; width:100%; height:100%; text-decoration: none; background:#eb6100; text-align:center; border:1px solid #FFFFFF; color:#FFFFFF; font-size:16px; border-radius:50px; -webkit-border-radius:50px; -moz-border-radius:50px; box-shadow:0px 0px 0px 4px #eb6100; transition: all 0.5s ease; } .btn_A a:hover{ background:#f56500; color:#999999; margin-left:0px; margin-top:0px; box-shadow:0px 0px 0px 4px #f56500; } .bigger { font-size: larger; }
こんにちは。ソリューション推進部です。 2023年12月12日に、エヌアイシー・パートナーズ株式会社として初めてのハンズオンセミナー『「IBM watsonx.ai 」を利用したRAGのハンズオンセミナー』を開催しました。 今回のハンズオンセミナーは、以下の2つのことを目的として行いました。 パートナー様に製品の紹介とハンズオンを合わせて体験いただくことで、製品をより深く知っていただくこと 製品を活用したビジネスの新たな応用の可能性を見つけ出していただくこと 私たちのチームでは、パートナー様にご紹介・ご説明する製品を「実際に触ってみること」を大切にしています。これは私たち自身の技術力の向上という目的もありますが、パートナー様に私たちのリアルな経験を交えながら製品のご説明をすることが、お客様の具体的な課題発掘や案件創出に繋がっていると考えているためです。 今回のハンズオンを通して、パートナー様ご自身が製品の価値を体感しご理解いただくことで、新しいビジネス展開のイメージを創出するお役に立ちたいと考えました。 それでは、今回実施したセミナーの内容について簡単にご紹介いたします。 目次 レポート watsonx.ai紹介講義 ハンズオン実施 IBMさまによる最新情報紹介・講義 さいごに お問い合わせ レポート 1. watsonx.ai紹介講義 ハンズオンを実施する前に、watsonx.ai と RAG についての講義を行いました。 国内では生成AIビジネスが加速し、競争力やセキュリティなどの課題が増えています。これらの課題を解決する製品として、IBM watsonx をご紹介しました。 watsonx は「watsonx.ai」「watsonx.governance」「watsonx.data」という3つの製品から成り立っています。watsonx.ai は、基盤モデルをベースとした AI開発スタジオです。 ここでは、IBM が信頼できるデータを用いて事前に学習した基盤モデルや Hugging Face, Inc.* と連携したオープンソースの基盤モデルが利用可能で、ビジネスの状況や要件に応じて最適な基盤モデルを選択することが可能です。 また、RAG についての概念や利点、活用が期待されるシーンもご説明しました。RAG を用いた具体的なユースケースとしては、IBM Watson Speech to Text や Watson Discovery、watsonx.ai を活用したコールセンター業務の事例や、watsonx Assistant や Watson Discovery、watsonx.ai を活用した ECサイトの問い合わせの事例を取り上げました。 時間の制約からこれら2つの事例しかご紹介できませんでしたが、今後、watsonx.ai を活用した多様な事例を私たち自身も理解し、パートナーさまと共に議論を深めていきたいと思います。 *Hugging Face, Inc.：機械学習 アプリケーションを作成するためのツールを開発しているアメリカの企業。 2. ハンズオン実施 ハンズオンでは、受講者の方々に「RAG」を活用した watsonx.ai の Foundation Model（LLM）への問い合わせを体験していただきました。 RAG とは「Retrieval-Augmented Generation」の略で、LLM への問い合わせをする際に、事前に用意したベクターストアへデータ（今回はPDF）を取り込んでおき、問い合わせプロンプトをもとにベクターストアを検索し、その結果を付与して LLM へ問い合わせを行う、というテクノロジーです。 RAG を使うことで、一般公開されていない社内情報を活用して LLM を利用することが可能となるため、自社での利用やお客様の課題を解決するための方法として有効であると考えています。 ハンズオンの環境につきましては、準備に時間をかけずスムーズに始められるよう、事前に弊社にて PC や RAG を利用するための Jupyter Notebook を用意いたしました。 また、watsonx.ai では複数の Foundation Model を利用できるため、複数のモデルを使って挙動の違いを確認してみたり、取り込む PDFファイルを追加することで回答がどう変わるのか、など、ご自身で自由に検証をする時間を多く設けました。皆さまそれぞれに前提スキルは異なっていたかもしれませんが、「体験の時間が足りない…」ということはなかったかと思います。 今回ベクターストアへ取り込むのは PDF のみとしましたが、テキストファイルや PowerPoint なども取り込むことができるので、応用できる使い方が非常に広いということを理解いただけたのではないかと感じています。 3. IBMさまによる最新情報紹介・講義 日本アイ・ビー・エム データ・AI・オートメーション事業部 四元さまに「watsonx」に関して、最新事例と製品アップデート情報の2本立てで講義をしていただきました。 事例においては、IBM社内の watsonx活用事例（AskIT）は特筆すべきと言えるでしょう。 AskIT は、IBMの自然言語処理（NLP）能力を活かし、30万件を超えるサポートチケットから抽出された知見をもとに、重要なサポートトピックに迅速に対処する AIアシスタントとして開発されたそうです。このツールは4ヶ月で133,000人の IBM社員に利用され、問い合わせの75%以上が AI によるチャットで解決されるなど、非常に大きな成果を上げています。 製品アップデート情報のメインは、12月に発表された「watsonx.governance」でした。 AI を組織として採用するためには倫理感のある意思決定が必須であり、watsonx.governance は AIガバナンスとして以下の3つの機能を提供する製品である、というご説明をいただきました。 AIライフサイクルを通してAIモデルの実態を把握するための「モデル・インベントリ」 AIの性能や課題の管理などを行う「評価・モニタリング」 総合監視画面を提供しリスクを可視化する「モデル・リスクガバナンス」 モデル・インベントリでは、他社の AI商品である「Amazon SageMaker」「Azure Machine Learning」などの AIモデルも合わせて管理・監視できることが非常に興味深いです。 watsonx は、AIワークフローを一貫してサポートすることで倫理的かつ透明性の高い AI利用を可能にしています。これらの技術革新は私たちが直面している数多くの課題に対する解決策を見出し、先進的なビジネス環境を促進していく上での重要なステップと言えるでしょう。 日本アイ・ビー・エム株式会社 データ・AI・オートメーション事業部 四元 さま さいごに セミナー後には、参加いただいたパートナーさまとご支援いただいた IBMさまとの懇親会を開催いたしました。 当懇親会を通してパートナー様の生成AI に対する取り組みや課題を直に伺うことができ、大変有意義な場となりました。 2023年12月18日に弊社は10周年を迎えました。10年間で培った経験を糧にし、今後さらに新しい取り組みにチャレンジしていきたいと考えております。 本年も、ブログを通してパートナーの皆さまへ様々な情報をお届けさせていただきます！今後ともどうぞよろしくお願いいたします。 懇親会会場 お問い合わせ エヌアイシー・パートナーズ株式会社E-Mail：nicp_support@NIandC.co.jp .highlighter { background: linear-gradient(transparent 50%, #ffff52 90% 90%, transparent 90%); } .anchor{ display: block; margin-top:-20px; padding-top:40px; } .btn_A{ height:30px; } .btn_A a{ display:block; width:100%; height:100%; text-decoration: none; background:#eb6100; text-align:center; border:1px solid #FFFFFF; color:#FFFFFF; font-size:16px; border-radius:50px; -webkit-border-radius:50px; -moz-border-radius:50px; box-shadow:0px 0px 0px 4px #eb6100; transition: all 0.5s ease; } .btn_A a:hover{ background:#f56500; color:#999999; margin-left:0px; margin-top:0px; box-shadow:0px 0px 0px 4px #f56500; } .bigger { font-size: larger; }
悪質化・巧妙化する一方のサイバー攻撃を始め、システムリスクは企業が直面し続けている「今そこにある危機」です。ビジネスの中断を招かないためには、何かが起きたとしても重要な情報資産であるデータを迅速に復旧できる能力やデータ・レジリエンスが強く求められています。 しかしその一方で、予算も人的リソースも有限であり、セキュリティコストや運用工数をむやみに増加することはできません。 そうした中、IBM ではデータ・レジリエンスに特化した包括ソリューション IBM Storage Defender で、データの保護、識別、検知、対応、復旧をエンド・ツー・エンドで実現していこうと提唱しています。 本コラムでは IBM Storage Defender の構成要素や、それぞれの構成要素を企業がどう採り入れていくことで堅牢な守りを形にできるのか、を見ていきます。また、セキュリティコストや運用工数という観点からも IBM Storage Defender の差別化ポイントを探ります。 目次 悪化の一途をたどるサイバー攻撃被害、求められているのはデータ・レジリエンス IBM Storage Defenderはエンド・ツー・エンドでストレージを守る包括ソリューション 必要な機能を導入しながら段階的にデータ・レジリエンスを高めることが可能 コスト抑制に効くライセンスモデル、運用を簡素化できる利点も特長 IBM Storage Defenderの特長まとめ 構成提案はエヌアイシー・パートナーズにお任せください お問い合わせ 悪化の一途をたどるサイバー攻撃被害、求められているのはデータ・レジリエンス 依然としてサイバー攻撃が猛威を振るい続けています。 IBM のサイバーセキュリティの専門家と対策担当者からなる IBM Security X-Force の「X-Force 脅威インテリジェンス・インデックス 2023」によると、サイバー攻撃による被害は悪化の一途をたどっており、ランサムウェアによるデータ侵害への対応にかかる平均コストは5億9千万円に上っています。 また、データ侵害の特定と封じ込めに要した平均日数として287日にかかっており、その間、多くのシステムは停止を余儀なくされました。さらに、Windows だけではなく Linuxシステムへのランサムウェア攻撃も増加しており、最近では VMware ESXi のサーバーまでも標的になっているといいます。 今やどんな規模の企業であっても「まさか当社のシステムが狙われることはないだろう」などと甘く考えることはできません。 ここではサイバー攻撃を例に挙げましたが、システムへのリスクは他にも自然災害やハードウェア/ソフトウェア障害、人為的ミスなどさまざま存在します。すべてを起きないように防ぐのはもはや不可能といえます。 現代の企業には、何かが起きたとしても重要な情報資産であるデータを迅速に復旧できる能力、つまり、データ・レジリエンスというものを身につけることが強く求められています。また、データに対しては世界的にコンプライアンス準拠への圧力が高まっており、企業はこれにも対応しなければなりません。 しかし持てるリソースは有限であり、セキュリティ強化だからといって湯水のように予算が湧くことはなく、恒常的な人材不足に悩む中、むやみに運用工数を上げることはできません。多くの企業はこの点に大きなジレンマを抱えています。 IBM Storage Defenderはエンド・ツー・エンドでストレージを守る包括ソリューション そうした中 IBM は2023年、IBM Storage Defender というソリューションを発表しました。 IBM Storage Defender は、ストレージ基盤全体にわたってデータの保護や改ざん防止、検知、対応、復旧、自動化を行える機能を有し、企業のデータ損失リスクを軽減することができます。 セキュリティ・ダッシュボードを備えていることも大きな特長で、データ保護とサイバー・レジリアンスのステータスをシンプルに統合して表示することができます。 図1. データ・レジリエンスを実現するIBM Storage Defender IBM Storage Defender は、具体的に以下の8つのソフトウェアから構成されています。 IBM Storage Virtualize ストレージリソースの一元化やデータサービスの拡張を可能にするストレージ仮想化ソリューションです。IBM製ストレージと他社製ストレージの管理を統合でき、ストレージリソース管理の簡素化と使用率を向上します。 IBM Copy Service Manager（CSM） ストレージ環境におけるコピー・サービスを制御する製品です。ストレージ環境全体のレプリケーションを一元的に管理することができ、アプリケーションに対して災害復旧と高可用性を提供します。 IBM Storage Data Protect 仮想環境やクラウド環境のバックアップ・復旧を司るソフトウェアです。SaaSポータルで問題の監視・警告・予測を行うとともに、異常検知しレポートします。VMware のエンタープライズ保護機能を有しているという点も大きな特長です。 IBM Storage Sentinel ランサムウェア攻撃のソースを検知/診断/特定し、主要なアプリケーションに対して自動復旧オーケストレーション機能を提供するソフトウェアです。 IBM Storage Archive 物理的なエアギャップ保護と直感的なグラフィカルアクセスの機能でデータ・アーカイブを作成します。1次ディスクのアクセスパフォーマンスが不要なデータのストレージ・コストを削減できます。 IBM Data Management Service（DMS） IBM Storage Defenderサービスに対するユーザーのランディングページで、包括的なデータ・レジリエンスを実現するダッシュボードです。具体的には、Storage Protect、IBM FlashSystemセーフ・ガード・コピー、IBM Storage Data Protect と接続しデータ保護ステータスの統合的ビューとともに、ロギングやレポーティング、シミュレーションなどの機能を統合して提供します。 IBM Storage Protect for Container Storage Protect はシンプルな構成で物理、仮想、アプリケーション、NAS と、さまざまなバックアップ対象の保護および保管方法を提供しますが、IBM Storage Protect for Container はその中でもバックアップ対象のコンテナ環境に特化しています。 IBM Storage Protect Suite 上記以外の要件のバックアップと復旧に関しては、この IBM Storage Protect Suite に含まれる多彩なソフトウェアで実現可能です。災害復旧管理やノード複製、Network Data Management Protocol（NDMP）バックアップ、大規模テープ・ライブラリーをサポートする IBM Storage Protect Extended Edition、Oracle および Microsoft SQL Server と連携する IBM Storage Protect for Database などがあります。 必要な機能を導入しながら段階的にデータ・レジリエンスを高めることが可能 IBM製品を利用のお客様であれば、IBM Storage Defender の導入でサードパーティソリューションに頼らずエンド・ツー・エンドのデータ保護を IBM環境で統一することができます。 また IBM Storage Defender は、その時点で必要な構成を採り入れながら段階的にデータ・レジリエンスを高めていくことができます。 たとえば、IBM FlashSystem 5200アップの製品をお使いのお客様には IBM Storage Virtualize が搭載されており、このソフトウェアのみでランサムウェア攻撃によるデータ暗号化に備えるセーフ・ガード・コピーが実現できるようになっています。ここに IBM Copy Service Manager をプラスすれば、リアルタイムに近い感覚でデータコピーを取得したり適用業務に合わせてデータの世代保存を管理するといったことも可能になります。 上記がフェーズ1だとすると、フェーズ2ではデータ・アーカイブやデータを分類するのはいかがでしょうか。 IBM Storage Archive を導入すると、法令や会社で定めた保存期間を過ぎたデータをより安価なストレージへ移すといったことが容易にできます。これにより、メインストレージの実容量を常に気にかける必要もなくなります。 続くフェーズ3では、ランサムウェア対策をさらに強化することにしましょう。 その目的にかなうのが IBM Storage Sentinel です。このソフトウェアを用いれば、200以上のコンテンツ・ベースの分析と機械学習技術でスナップショット・データを分析、高度なランサムウェア検知を行い、影響を受けたファイルを特定するレポートを自動的に生成します。 これにより、マルウェアがどのように広がったかやマルウェアから復旧するための最善の方法が理解できるとともに、すべてのサーバーの復旧を自動化することができます。さらに、IBM Storage Data Protect を加えれば、バックアップデータのバックアップというセカンダリーデータ保護も可能です。 図2. IBM Storage Defenderの全体像 コスト抑制に効くライセンスモデル、運用を簡素化できる利点も特長 IBM Storage Defender は導入するソフトウェアを増やしたからといって、コストがリニアに上昇するというわけではありません。その理由はライセンスモデルにあります。 費用は月額固定の SaaS利用料＋従量課金のサブスクリプション利用料で構成され、従量課金はストレージボリューム1TiB当たりの RU やリソースユニットがソフトウェアによって重みづけされており、それを何TiB分必要かで算出されます。計算方法は図＊にあるとおりです。 図3. IBM Storage Defender ライセンス形態 ここで最も特長的なのは、購入した RU についてはその配分を選択/調整できることです。 10RU を購入し、フェーズ1ではこれをすべて IBM Storage Virtualize と IBM Copy Service Manager で使用していたけれど、フェーズ2ではランサムウェア対策を強化のため RU を IBM Copy Service Manager から IBM Storage Sentinel へ切り替えたい、といった変更も可能です。 必要な機能を必要な容量だけ、それが IBM Storage Defender です。ちなみに、IBM では RU計算ツールを提供しています。IBMid が必要ですが、ざっとシミュレーションしてみたいというお客様はアクセスしてみてください。（https://app.ibmsalesconfigurator.com/#/） IBM Storage Defenderの特長まとめ メインストレージからバックアプストレージまでデータを保護 オンプレミス/仮想環境/パブリック・クラウドへ対応 データ保護、改ざん防止、検知、復旧などの機能を包括的に提供 様々なデータ保護機能の中からニーズに合わせて必要な機能だけを選択可能 サブスクリプション型のライセンスにより、必要な期間だけの契約（年単位） 単一ライセンス形態により、ライセンスの管理を簡素化 Data Management Service（DMS）によるシングルコントロール IBM Storage Defender は、ストレージのセキュリティ機能強化やバックアップおよびリカバリーの強化をはじめ、データ管理の最適化、コンプライアンスと法的要件の遵守といった領域においても有用なソリューションと言えます。 バックアップ検討の際は、IBM Storage Defender を検討してみてはいかがでしょうか。 構成提案はエヌアイシー・パートナーズにお任せください エヌアイシー・パートナーズでは IBM Storage Defender の導入に関して、正確にお客様のストレージ環境を把握した上で、RU計算ツールなども用い最適な構成立案を支援いたします。 取り扱い製品が多いため、ストレージのみならずシステム全体の最適化をめざした包括的な提案支援も可能です。 企業の情報資産を格納する重要なストレージ基盤やその保護に関してお客様が直面している課題を、当社はパートナーのリセラー企業とともに解決していきます。 お問い合わせ この記事に関するお問い合せは以下のボタンよりお願いいたします。お問い合わせ .highlighter { background: linear-gradient(transparent 50%, #ffff52 90% 90%, transparent 90%); } .anchor{ display: block; margin-top:-20px; padding-top:40px; } .btn_A{ height:30px; } .btn_A a{ display:block; width:100%; height:100%; text-decoration: none; background:#eb6100; text-align:center; border:1px solid #FFFFFF; color:#FFFFFF; font-size:16px; border-radius:50px; -webkit-border-radius:50px; -moz-border-radius:50px; box-shadow:0px 0px 0px 4px #eb6100; transition: all 0.5s ease; } .btn_A a:hover{ background:#f56500; color:#999999; margin-left:0px; margin-top:0px; box-shadow:0px 0px 0px 4px #f56500; } .bigger { font-size: larger; }
レノボグループ最大の年次イベント「Lenovo Tech World Japan 2023」が2023年12月5日に東京で開催され、足を運んできました。 今年は「AI for ALL インテリジェントな変革に向けて」をメインテーマに、AI活用によるインテリジェントな変革を企業や個人に届けるためのレノボの取り組みが、多数のセッションや展示を通じて紹介されていました。 レノボグループは PC事業/サーバー事業ともに IBM より引き継いでおりいずれも現在は世界の市場において確固たる地位を占めていますが、ハードウェア製品が中心というイメージがあるレノボにおいて AIビジネスへの対応としてどのような取り組みを行っているか、という点に興味がありました。 いくつかのセッションに参加してみて、レノボの AI分野における取組みとしては大きく以下の2分野が中心かな、と感じました。 レノボ ＝ ハードウェア製品のリーダー：利用者が便利にAIを活用するための（裏方としての）ITインフラの継続的な革新を実施 ターンキーソリューションの推進：ISVパートナーエコシステム「Lenovo AI Innovators」を通じて、利用者のAI活用を支援 レノボとしてはこうした AI領域のビジネスに対し10億米ドルの投資を計画しており、単なるハードウェア・ベンダーとしての位置づけを超え AIビジネスに対する取り組みへの「本気度合」が伝わりました。 当レポートでは、参加したいくつかのセッションについてご紹介します。 レポート目次 生成AIとレノボインフラストラクチャー・ソリューション レノボとエヌビディアが目指すスマートで高速化した未来、デジタルツイン カーボンニュートラルからカーボンネガティブへ 未来を創造するレノボのOPEN AIソリューション レポート 生成AIとレノボインフラストラクチャー・ソリューション まず、レノボの AI関連インフラストラクチャー投資戦略の紹介では "3年で10億米ドル" という非常に大きな規模の投資が計画されており、レノボの AI に対する注力度の高さを感じました。 また、レノボと ISV が組んだ AI対応の取り組みである AI Innovatorsプログラムは、すでに世界で150以上のソリューションが提供されているとのことです。お客様や ISV への検証環境やノウハウを支援する当プログラムは、お客様の AI活用の促進に有効であると感じました。 さらに、AI を利用して手話をリアルタイムで文字に変換するというソリューションも紹介されており、聴覚の弱い方でもコミュニケーションの幅が広げられる有効なソリューションであることを感じると同時に、AI活用領域の幅広さを改めて実感しました。 興味深かったのが、レノボと NVIDIA のハイブリッドAIソリューションの発表です。データセンター向けの新GPU の生成AI の提案として、L40S が紹介されていました。その AI処理性能の高さは、各企業が AI をより効率的に活用するための大きな武器となると確信できる内容でした。 「NVIDIA ＝ GPU」というイメージでしたが、製品開発投資の60%以上がソフトウェア製品に向いているというのが意外でした。OSSベースが多い AIソリューションをお客様が安心して使えるようにするためのソフトウェア・スタックの開発が中心で、OSS のままではなく認定・サポートすることでのリスク低減を行っていくとのことです。 ストレージについても新しい発表がありました。Weka という NVMe に最適化されたストレージや ddnアプライアンスの OEM取り扱いに関する情報は、AIインフラに必要となるストレージとして注目したい内容でした。 ハードウェアメーカーの印象が強かったレノボグループですが、ハードウェアの枠を超えお客様の AI活用に向けてさまざまな取り組みを実践していることが感じられました。 レノボとエヌビディアが目指すスマートで高速化した未来、デジタルツイン このセッションでは、レノボとエヌビディアが連携して提供するデジタルツインを実現するためのアプリケーション「OMNIVERSE」について詳しく説明されました。 デジタルツインが実現すれば、物理的な世界の出来事をデジタルで再現・分析することが可能になります。 このテクノロジーの一部として、エヌビディアの仮想工場を作り出すデジタルツインのユースケースが紹介されました。これらの技術は自動車や建築業界などを始め、多くの分野でデジタル化を後押しする強力なエンジンとなると強く感じました。 レノボの最新ワークステーション「ThinkStation PX」はこの OMNIVERSE を活用して開発されており、こうした最新のテクノロジーが構想段階ではなくすでに実用化の領域に入っていることが実感できます。 また、大規模なデジタルツインを実現するために設計されたコンピューティング・システムである NVIDIA OVXシステムに対応した GPUラック・サーバー「SR675V3」の紹介もありました。 全体的に非常に先進的で興味深い内容でした。デジタルツインの活用はこの先、さらに様々な業界で重要性を増していくでしょう。 今回のセッションで得た知識を生かしてデジタルツインについてより理解を深め、ビジネスに繋げていきたいと思います。 カーボンニュートラルからカーボンネガティブへ 「AIの普及 > GPUの高性能化 > 消費電力抑制との闘い」という流れは、AI の普及に伴い避けては通れない課題です。 業界に先駆けて実施されているレノボの「カーボンオフセットサービス」は、企業単位で地球温暖化に貢献できる具体的なソリューションとして、改めて有効性を感じました。 また、レノボは HPC分野において最も多くのスーパーコンピューターを提供しているベンダーですが、一方で電力あたりの処理能力のベンチマークである「Green500」においても最もクリーンなベンダーであることが実証されています。 既に製品化されている水冷技術「Lenovo Neptune」は排熱の98％以上の削減を実現しており、レノボがこの分野において大きく業界をリードしていることを再認識しました。 未来を創造するレノボのOPEN AIソリューション 今回のセッションタイトルを Chat GPT が作成したということからも、OPEN AI は確実かつ急速に普及していることが分ります。しかしその一方で、約72%の日本企業では業務での Chat GPT の使用を禁止している、という調査結果があるのも現状です。 利便性よりも "情報漏洩" や "誤情報の拡散リスク" を重視するという企業は多いですが、使い方によっては十分に業務利用に耐え、かつ大幅な業務効率の向上が期待できます。 レノボではワークショップ形式でお客様の安全な利用をサポートしていくとのことで、効率性や安全性に悩んでいるお客様に対する支援策として有効性を感じました。 以上が簡単ではありますが、Lenovo Tech World Japan 2023 への参加レポートとなります。最後までお読みいただき、ありがとうございました。 お問い合わせ エヌアイシー・パートナーズ株式会社E-Mail：nicp_support@NIandC.co.jp .highlighter { background: linear-gradient(transparent 50%, #ffff52 90% 90%, transparent 90%); } .anchor{ display: block; margin-top:-20px; padding-top:40px; } .btn_A{ height:30px; } .btn_A a{ display:block; width:100%; height:100%; text-decoration: none; background:#eb6100; text-align:center; border:1px solid #FFFFFF; color:#FFFFFF; font-size:16px; border-radius:50px; -webkit-border-radius:50px; -moz-border-radius:50px; box-shadow:0px 0px 0px 4px #eb6100; transition: all 0.5s ease; } .btn_A a:hover{ background:#f56500; color:#999999; margin-left:0px; margin-top:0px; box-shadow:0px 0px 0px 4px #f56500; } .bigger { font-size: larger; }
生成AI の利用や導入が進む中、日本でも業務効率化や生産性の向上、課題解決、成長につなげられるなど、様々なメリットをもたらす AI活用の重要性が認識されるようになってきました。 そこで今回は、生成AI の利用における現状と課題に対して有効な解決策となるエンタープライズ向けの AIモデルの利用サイクルにおいて、データの準備、モデルのチューニング、信頼性やパフォーマンス監視にいたる範囲をカバーする企業向けの AIモデル作成・運用プラットフォーム「IBM watsonx（ワトソンエックス）」を紹介します。 目次 生成AIを取り巻く世の中の動向 企業における生成AI活用の課題 企業のユースケースやコンプライアンス要件を満たす「IBM watsonx」 まとめ：企業経営の最適化を目指すIBMの「AI+」データ/AI戦略 エヌアイシー・パートナーズにお任せください お問い合わせ 生成AIを取り巻く世の中の動向 ChatGPTの急速な広がり OpenAI から2022年11月30日にリリースされた大規模言語モデル「ChatGPT」は、従来の大規模言語モデルよりも高度な会話を行うことができるその性能の高さから、全世界で「異次元のAI」として話題となりました。 リリース時の ChatGPT は GPT-3 および GPT-3.5 をベースとし、ユーザーが入力したテキストに AI が返答をするというシンプルなツールでしたが、それでも爆発的な勢いで世界中に普及し、リリースからわずか2ヵ月でユーザー数は1億人に到達しました。改良版の GPT-4 は高度な論理的思考力を持ち、その精度の高さはアメリカの司法試験に合格できるレベルに達するとされているだけではなく、日本語をはじめとする多くの言語にも対応しており、GPT-3.5 を英語で利用する場合の精度を凌駕しています。 2023年11月に発表された GPT-4 Turbo では、従来の16倍となる300ページを超える長い文書を扱えるほかトークンの料金も引き下げられ、連携するソフトが作りやすくなっています。 ChatGPT の利用は日本でも急速に広がり、生成AI の驚異的な進化が、私たちの生活だけでなくビジネスの仕組みさえも変えようとしています。 AIはデータを燃料に競争優位性を確立するためのエンジン 大量のデータを学習することにより要約や分析、提案などの業務で高い能力を発揮する生成AI は、今後ビジネス予測や調整・問題解決・テクノロジーデザイン・プログラミングなど、分野を問わず様々なスキルに影響をおよぼすことが見込まれています。 経済産業省のデジタル時代の人材政策に関する検討会がまとめた「生成AI時代のDX推進に必要な人材・スキルの考え方（令和5年8月）」*1 では、以下の様に述べられています。"ゴールドマン・サックスの調査によると、今後、米国の業務の 1/4 は AI により自動化される可能 性があると予測されている。また Access Partnership の調査によると、今後、日本の全労働 力のうち、約 70%の労働人口層が AI の影響を受けると予測されている" これらの予測が示すように、企業視点で見る生成AI は DX推進を後押しするとともに企業全体の価値を高め、データを燃料に競争優位性を確立するためのエンジンとしてビジネスでの活用が期待されているのです。 [wpdm_package id='145045'] 企業における生成AI活用の課題 大規模言語モデルは時に“嘘”をつく ビジネス活用でも大きく期待されている生成AI ですが、解決しなければならない大きな課題があります。 その1つが、ChatGPT に代表される大規模言語モデル（LLM）が、時に幻覚を見ているかのようにもっともらしい "嘘" をつく（事実に基づかない情報を生成する）「生成AIの幻覚（ハルシネーション）」と呼ばれる現象です。 LLM は「言葉と言葉のつながり」を学習し、その学習結果に基づいてある単語に続く単語を確率として算出し、可能性が高い「つながりそうな」単語（正確には「トークン」と呼ばれる文字のつながりを細かく区切ったもの）を続けます。 この仕組みにおいては個々の単語が持つ意味は考慮されません。そのため、LLM のハルシネーションが発生してしまいます。 これが、LLM の生成する回答の信頼性に「検証が必須」とされる理由でもあります。 生成AIのセキュリティ・コンプライアンスリスク 生成AI を企業が活用する上で解決しなければならない課題はもう1つあります。それは「生成AI経由の情報漏えいリスク」です。 例えば、ChatGPT による情報漏えいリスクには「入力内容（機密情報）がAIの学習に利用され、第三者に情報が渡ること」が挙げられます。 また、生成AI の学習に使われているデータ（具体的には、著作物を無断で学習データとして利用している場合）にもリスクの考慮が必要です。このケースでは生成AI でのアウトプットに著作物が含まれてしまい、そのまま利用すると著作権違反に繋がってしまいます。 入力内容（社内情報）の利用 ChatGPT の開発企業である OpenAI社は、プライバシーポリシーに以下の目的での個人情報利用の可能性を明記しています。 本サービスの提供、管理、維持、分析 本サービスの改善・調査 お客様とのコミュニケーション 新しいプログラム及びサービスの開発 本サービスの詐欺、犯罪行為、不正使用を防止し、当社（OpenAI）のITシステム、アーキテクチャ、及びネットワークのセキュリティ確保 事業譲渡 法的義務及び法的手続の遵守、当社および当社の関連会社、お客様またはそのほかの第三者の権利・プライバシー・安全・財産の保護 ChatGPT に入力した機密情報が社外サーバーに保存されるだけでなく、他のユーザーが ChatGPT を利用した際に機密情報が返答に使われる可能性も否定できません。また法律上の要請のほか特定の条件下では、顧客への通知なしに第三者に個人情報を提供する可能性があることも明示されています。 ChatGPT を利用する際には、Opt Out すると共にリスクの低いデータを使うことが、情報漏えいリスクを低減するための対策の一つとなります。 ※出典：プライバシーポリシー（https://openai.com/ja/policies/privacy-policy） 企業のユースケースやコンプライアンス要件を満たす「IBM watsonx」 エンタープライズ向け次世代AIプラットフォーム「IBM watsonx」 単なる AI の使用だけにとどまらず、AIモデルの学習、調整、展開を管理し、それらが生み出す価値すべてを企業が保有し、ビジネスへの活用を可能にするのが「IBM watsonx」です。 先進のオープン・テクノロジーで様々な AIモデルが作成可能な AI基盤を提供します。企業のユースケースやコンプライアンス要件を満たし、基盤モデル（ファウンデーションモデル）ベースでの企業固有AIモデルの作成を支援します。 watsonx は企業向けのビジネス分野を対象とした AIモデル作成・運用プラットフォームで、「AI学習・生成・チューニング」「学習データ管理」「ライフサイクル管理」の3つの機能で構成されています。これらを組み合わせることで、ユーザーによる AIモデルのトレーニング、チューニング、デブロイを支援し、データがある場所に関係なくワークロードのスケーリングとより信頼できる AIワークフローを設計できるだけではなく、AI を業務に取り入れる際の課題を解消します。 さらに、学習済みの汎用の基盤モデルには IBM の信頼できるデータ・セットに基づいて学習しているモデルも用意しているため、透明性が高く責任ある AI 実現のために担保すべきガバナンスも備えており、法律、規制、倫理、不正確さに関する懸念も排除できます。 ビジネスでの AI活用を想定して設計された watsonx は、単なる AI の使用にとどまらず、AI の価値を創出するエンタープライズ向けの次世代AIプラットフォームと言えるでしょう。 図1. 基盤モデルをはじめとしたAIモデルを活用・構築し、企業独自の価値創造を支援する「watsonx」 watsonxの3つの機能 watsonx は次の3つの機能により、「AIモデルの利用サイクルにおけるデータの準備」「モデルの開発やチューニング」「信頼性やパフォーマンス監視」にいたる範囲をすべてカバーします。 これらの AI支援機能によって、カスタマー・サービスの自動化やコードの生成、人事などの主要ワークフローの自動化など、様々なビジネス・プロセスやアプリケーション開発において、専門知識がなくても業務の遂行が可能になります。 AI作成スタジオ（AI学習・生成・チューニング）「watsonx.ai」 watsonx を構成する3機能の中核をなすのが、AIモデルのトレーニングや検証、チューニングを担う AIモデル作成スタジオ「watsonx.ai」です。 watsonx.ai は、IBM独自のファウンデーションモデルを活用した AI構築のためのオープンな企業向けスタジオ（ツール・機能群）で、企業独自の競争力と差別化を保持するために基盤モデルを活用・構築することができます。 IBM が作成したファウンデーションモデル「Granite」もしくは Hugging Face *2 ライブラリーからのオープンソースモデルで使用を開始し、学習、評価、チューニング、展開にわたり、基盤モデルや生成AIビジネスでの本格利用を支えます。また独自のデータで追加学習する機能により、カスタマイズされた独自のファウンデーションモデルの構築も可能です。 自社固有モデルを開発し利用できるため、共有モデルと比べセキュリティリスクは大幅に低減できます。 Granite は、モデルの学習に使用されたすべてのデータ・セットが IBM内で定義されたガバナンス、リスク、コンプライアンス（GRC）のレビュー・プロセスを経た監査可能な信頼できるモデルであるため、企業向けとして最適です。 さらに、後ほど紹介するライフサイクル管理ツール「watsonx.governance」と連携し、AIライフサイクルにわたる統制やリスク・コンプライアンス管理を含めた維持・運用を実現します。 *2. Hugging Face（ハギングフェイス）：機械学習モデルを「構築」「トレーニング」「デプロイ」できる開発プラットフォーム。AI研究者や開発者が機械学習リファレンスオープンソースを活用して、機械学習モデルの「訓練」「共有」「利用」を容易にするためのツールやライブラリを提供している。 企業固有データの管理プラットフォーム（学習データ管理）「watsonx.data」 AI をビジネスのあらゆる領域で活用するために加工する仕組みを提供するのが、IBM の次世代型データ・ストア（データ管理プラットフォーム）「watsonx.data」です。 watsonx.data は、散在する企業の固有データを一元管理し複数のクエリエンジンとストレージ層に対するワークロードを最適化するとともに、自社の業務用途に合わせた AIモデルを watsonx.ai で作る際に必要となる自社固有の学習データ（基盤モデルに対する少量の追加学習データなど）を供給します。 watsonx.data はオープン・レイクハウス・アーキテクチャー上に構築されています。データレイクの柔軟性にデータウェアハウスのパフォーマンスを組み合わせることで、オープンでハイブリッド、ガバナンスに対応したデータ・ストアとして、あらゆるデータを分析しあらゆる場所に AIワークロードを拡張することが可能です。 ライフサイクル管理ツール「watsonx.governance」 日常のワークフローへの AI導入が進むほど、ビジネス全体で責任ある倫理的な意思決定を推進するための「事前対応型ガバナンス」の必要性が高まります。AIモデルのライフサイクルを管理し、データと AI双方のガバナンスを保つためのツールキットが「watsonx.governance」です。 watsonx.governance はサード・パーティー製のモデルに対しても、ソフトウェアによる自動化でデータサイエンス・プラットフォームの変更にともなう過剰な費用負担なしに、リスクの軽減や規制要件の管理、倫理的懸念への対処能力を強化します。 これにより、「どのようなデータを学習させたのか」「誰がデプロイしたのか」など各種のメタデータを管理し、AI のライフサイクルを統制します。 さらに、実際に本番で使っている AIモデルの挙動を監視することで、AIモデルの精度や公平性を確認できます。 基盤モデルで迅速かつ容易にカスタマイズ 従来の AI開発のアプローチは、翻訳や分類などの目的ごとのタスクに対し、これらに応じたターゲットの回答がすでにわかっている「ラベル付きの学習データ」を大量に集め学習させそれぞれの用途に応じた AIモデルを作るため、別の用途に転用できずコストがかかっていました。 watsonx はファウンデーションモデルを用意しており、これをベースに追加学習でチューニングすることで、ゼロから機械学習モデルを作成するよりも迅速かつ容易にカスタマイズして用途ごとの AIモデルを作成できます。 さらに、1つの基盤モデルで多様なタスクに適応できるため大幅に工数と期間を削減し、学習の負荷やコストが大きいという従来の問題を解消します。 まとめ：企業経営の最適化を目指すIBMの「AI+」データ/AI戦略 昨今、様々なベンダーが企業の業務やサービスのデータに AI要素を追加する「+AI」（AIファースト）を支援し始めています。 IBM においては、お客様の「業務・サービスの自動化」「業務・サービスの見直し」「企業のコア業務改善」などの課題を AI+ で解決しています。 企業経営の最適化を目指す AI+ の戦略を体現する IBM watsonxシリーズは、AI の活用を進める企業に最適なソリューションだと言えるでしょう。 エヌアイシー・パートナーズにお任せください エヌアイシー・パートナーズは、IBMソフトウェア/ハードウェアの認定ディストリビューターとして、watsonxシリーズをはじめとする IBM製品に関するパートナー様のビジネスを強力にサポートいたします。 「お客様のニーズや要件に合わせてIBMのSWとHWを組み合わせた最適な提案がしたい」「IBM製品の機能や適用方法についての問い合わせに適切に対応したい」「IBM製品の特長や利点を活かしたお客様ビジネスへの最適な提案をしたい」 といったお悩みをお抱えの方は、お気軽にエヌアイシー・パートナーズへご相談ください。 お問い合わせ この記事に関するお問い合せは以下のボタンよりお願いいたします。お問い合わせ .highlighter { background: linear-gradient(transparent 50%, #ffff52 90% 90%, transparent 90%); } .anchor{ display: block; margin-top:-20px; padding-top:40px; } .btn_A{ height:30px; } .btn_A a{ display:block; width:100%; height:100%; text-decoration: none; background:#eb6100; text-align:center; border:1px solid #FFFFFF; color:#FFFFFF; font-size:16px; border-radius:50px; -webkit-border-radius:50px; -moz-border-radius:50px; box-shadow:0px 0px 0px 4px #eb6100; transition: all 0.5s ease; } .btn_A a:hover{ background:#f56500; color:#999999; margin-left:0px; margin-top:0px; box-shadow:0px 0px 0px 4px #f56500; } .bigger { font-size: larger; }
サイバーセキュリティ専門家の人材不足が一層深刻化し、優秀な人材の確保および定着がこれまで以上に重要になっています。 今回は、これらサイバーセキュリティ専門家の人材不足がもたらす企業のセキュリティ対策の課題と、その解決策となる次世代型セキュリティスイート「IBM Security QRadar Suite」をご紹介します。 目次 ランサムウェアをはじめとした身近に迫るセキュリティ脅威 高度なスキルと専門性を持った「サイバーセキュリティ専門家」の不足 複雑なIT環境が脅威の迅速な把握と封じ込めを困難に 統制された最新セキュリティスイート「IBM Security QRadar Suite」 エヌアイシー・パートナーズにお任せください お問い合わせ ランサムウェアをはじめとした身近に迫るセキュリティ脅威 独立行政法人情報処理推進機構（IPA）のセキュリティセンターは、毎年前年に発生したセキュリティ事故や攻撃の状況などから IPA が脅威候補を選び、その中より企業の実務担当者などからなる約200名のメンバーが選出する「情報セキュリティ10大脅威」を発表しています。 2023年3月に発表された「情報セキュリティ10大脅威 2023」*1 によれば、「組織の脅威候補」の1位は前年に続き「ランサムウェアによる被害」でした。ついで前年3位から2位に浮上した「サプライチェーンの弱点を悪用した攻撃」、前年2位から3位に落ちた「標的型攻撃による機密情報の窃取」と続いています。 順位の変動はあっても、この上位3つの脅威は依然として不動です。特にランサムウェアの脅威は継続しており、システム停止やサプライチェーン全体への影響を与えるようなインシデントが発生し続けています。 また、昨今はクラウドサービスの利用も一般的になってきています。サイバー攻撃の多様化に加え「クラウドの停止」「クラウドの仕様変更」など、クラウドサービスへのサイバー攻撃を想定したオンプレミス環境+α のセキュリティ対策も必要となります。 *1. 出典：独立行政法人情報処理推進機構（IPA）セキュリティセンター「情報セキュリティ10大脅威 2023」 高度なスキルと専門性を持った「サイバーセキュリティ専門家」の不足 セキュリテイ対策のさらなる強化が必要となる中で、企業や組織はセキュリティチームのスキル不足に直面しています。つまり、高度なスキルと専門性を持った「サイバーセキュリティ専門家」の不足です。 サイバーセキュリティ専門家資格の非営利団体である ISC2 が毎年実施しているグローバルサイバーセキュリティ人材調査「ISC2 Cybersecurity Workforce Study」の2023年版「Cyber Workforce Study 2023」*2 によれば、2023年の世界のサイバーセキュリティ労働力の規模は2022年からは8.7%増加し（日本は、前年比 24% という急速な成長）、過去最高水準となるおよそ550万人に上るものの、同時にさらに400万人の高度なスキルと専門性を持った「サイバーセキュリティ専門家」が必要になると推定しています。 一方、日本国内の ISC2会員を対象に2023年4月に実施した2023年版「サイバーセキュリティ人材に関するパルスサーベイ」*3 の調査結果では、66%の回答者が脅威のランドスケープの現況は過去5年間で最も厳しいものと認識しています。また、回答者の約半数（48％）が、不安定な経済状況下において自身の所属する組織のサイバーセキュリティチームが持つ企業・組織の安全を維持するための能力に懸念を示唆しています。 これらの回答者が組織におけるスキルギャップが存在すると感じている分野の上位には、「クラウドコンピューティングセキュリティ」「リスク評価・分析・管理」「脅威インテリジェンス分析」「デジタル・フォレンジック、インシデントレスポンス」「AI」が挙がっています。
SaaS（Software-as-a-Service）は、今や普遍的な選択肢となってきました。日常利用するシステムに SaaS が増えてきたという企業も多いのではないでしょうか。 IT人材が獲得しにくくなった現在、インフラの運用保守から解放されて利用に集中できる、気がつくと機能が次々アップデートされている、といった SaaS の特長は、企業にとって大きな魅力でありビジネスに欠かせない要素になっています。 しかし実際は、SaaS を利用しても運用保守から完全に解放されるわけではないことをご存じでしょうか。特に SaaS上に保存するデータに関しては注意が必要で、これに関してはユーザー側でデータ保護を図らねばなりません。 本記事では、SaaS の積極的なデータ保護施策として注目を集めている「IBM Storage Protect for Cloud」をご紹介します。 目次 SaaSベンダー自身がユーザー側でのデータバックアップを推奨 バックアップルールや有用性・利便性を考え、バックアップ先選定は慎重に SaaSのデータ保護強化ソリューションIBM Storage Protect for Cloud IBM Storage Protect for Cloudが有力な選択肢といえる3つの理由 エヌアイシー・パートナーズにご相談ください お問い合わせ 関連情報 SaaSベンダー自身がユーザー側でのデータバックアップを推奨 SaaS といえば、「1年365日、何があっても使い続けられる利便性をもたらしてくれるもの」と思っておられる方は多いかもしれません。確かにクラウドベンダーは可用性を維持するためにインフラのさまざまな面で冗長化に力を入れており、データ保護もその中に含まれています。 ただ、それはあくまでハードウェアやインフラ障害に備えた措置であり、それでもなお中断や停止が発生するリスクはあります。また、企業がデータを失う状況はハードウェアやインフラ障害ばかりではなく実際はもっと多様です。 たとえば、ユーザーやデータ管理者の操作エラーや、悪意のある内部関係者による敵対的行為も考えられます。そして昨今特に切実なのが、ランサムウェアを始めとしたサイバー攻撃によるデータ損失です。 大抵の SaaSベンダーは、このような場面を想定したデータ保護策を標準サービスでは提供していません。オプションとしてバックアップサービスを提供していますが、SaaSベンダー自身、顧客が SaaS上のデータを定期的にバックアップすることを勧めています。 たとえば、Microsoft 365 を提供している Microsoft は、Microsoftサービス規約で「本サービスに保存しているお客様のコンテンツおよび本データは、定期的にバックアップするか、第三者のアプリおよびサービスを使用して保存することをお勧めします。」と記述していますし、SaaS の有用性を最初に世界に知らしめた Salesforce も、Salesforceデータのバックアップのベストプラクティスの中で「データを定期的にバックアップすることと、組織で大規模なデータプロジェクトを進める前の段階で必ず⼿動のバックアップを行うことをお勧めします。」と述べています。 バックアップルールや有用性・利便性を考え、バックアップ先選定は慎重に データは企業にとって重要な情報資産です。 SaaS上のデータも例外ではなく、SaaSベンダーも勧めるとおり積極的なデータ保護策としてバックアップは必要不可欠です。身近さという点でいえば、すぐに頭に思い浮かぶのは SaaSベンダーの用意するオプション利用かもしれません。 しかし、ここでバックアップにおける「3-2-1 ルール」を思い出してください。これは安全なバックアップを実現するためのベストプラクティスの1つで、「データを3つの異なる場所に保存し、2つの異なるメディアを使用し、少なくとも1つのバックアップをオフサイト（異なる物理的な場所）に保存すること」が推奨されています。 なかでも重要なのがオフサイト（異なる物理的な場所）への保存で、万が一のことを考えると同一サービスを利用しない方が賢明です。 また、オプションサービスは汎用的に設計されていることが多く、「バックアップ頻度を上げたい」「取得したデータを精査したい」といった企業それぞれのきめこまかいバックアップニーズに対応できない場合があります。 だからといって、データバックアップのためだけにオンプレミスシステムを社内構築するというのも現実的ではありません。せっかく SaaS利用でインフラの運用保守から⼿が離れたというのに、それでは主客転倒になってしまいます。 SaaSのデータ保護強化ソリューションIBM Storage Protect for Cloud そうした中、積極的なデータ保護策を図る上で有力な選択肢として登場したのが IBM Storage Protect for Cloud です。 これは、IBM が提供する SaaS上のデータ資産保護の強化のための SaaSソリューションです。システム構築なしに Cloud-to-Cloudバックアップを実現、エンタープライズのプラットフォームで、堅固な暗号化、厳重なデータセキュリティ、データ保存、高度なクラウド脅威の検出などの機能を提供します。 具体的には、主要な SaaS向けにサービスをそれぞれ展開しています。ここではその中から2つのサービスをご紹介します。 IBM Storage Protect for Cloud Microsoft 365：Microsoft 365 の資産のバックアップとリカバリー機能を提供します。 IBM Storage Protect for Cloud Salesforce：Salesforceアプリケーションのバックアップとリカバリー機能を提供します。 仕組みをもう少し詳しく説明します。 Microsoft 365上で作成されたファイルやデータ、メール、添付ファイル、Salesforce Sales Cloud、Service Cloud、Marketing Cloud、およびそれらのデータを共有するワークロードが、クラウド上で稼働する Storage Protect for Cloudサービス経由で Azure Storage に自動バックアップされます。もちろん、オンデマンド・バックアップも可能です。 バックアップ先が Azure Storage ではない方がいいという場合は、導入済やお好みのオンラインストレージで利用することもできます。Bring Your Own Device ならぬ Bring Your Own Storage というわけです。 オンラインストレージの選択肢は図1のとおりです。ローカル・ストレージへダウンロードすることも可能です。 図1. IBM Storage Protect for Cloud サービス概要 リストアに関しては IBM Storage Protect for Cloud が現⾏とバックアップの間でデータの違いを⽐較し、対象を特定してくれます。そのため、当該データを探す⼿間が省けます。またリストアの粒度は、組織、メタデータ、レコード、オブジェクト、フィールドといったさまざまな単位で行えます。 図2. IBM Storage Protect for Cloud Microsoft 365の保護対象 IBM Storage Protect for Cloudが有力な選択肢といえる3つの理由 なぜ IBM Storage Protect for Cloud が有力な選択肢といえるのでしょうか。その理由は大きく3つあります。 1. データの遠隔地保管が容易に実現 オフサイト（異なる物理的な場所）へのデータバックアップが実現します。 しかも 100% SaaS のため、工数のかかる導入作業は必要なくすぐに実運用ができます。ストレージの容量制限もありません。たとえば、10分以内に1,000人規模の Microsoft 365ユーザーのデータを保護する、といったことも可能です。 しかも、SP for Cloudオンライン・サービス・ポータルは視認性に優れています。専門エンジニアでなくても、わずかな工数で容易にバックアップおよびリストア運用を軌道に乗せることができます。 図3. IBM Storage Protect for Cloud Microsoft 365のバックアップ ホーム画面 2. マルチSaaS利用時の包括的なデータ保護が可能 Microsoft 365 を使っているが Salesforce も利用する、という企業は増えています。 そのようなケースでは、IBM Storage Protect for Cloud をデータバックアップの標準基盤として活用することが可能です。これによりデータバックアップに必要なスキルセットが最小限で済み、属人化を防ぎます。 IBM Storage Protect for Cloud としては他に Microsoft Dynamics 365 や Microsoft Azure にも対応しています。 3. 柔軟性の高いデータ保護機能 IBM Storage Protect for Cloud は、きめこまやかなデータバックアップニーズを満たします。 データ活用の進む現在、「データなしに一日もビジネスが回らないことを考えると、日次バックアップや週次バックアップでは心もとない」そういった場面もあるのではないでしょうか。しかし、この SaaS であれば対応可能です。 1日最大4回のバックアップが可能で、オンデマンドでの実行も行えます。 海外に拠点のある企業では、GDPR や CCPA、FOIA といった規制への対応も求められます。一例を挙げると、GDPR では保存する必要がない個人情報は削除することが求められます。そうした場合も、データのクリーンアップ機能を用いて対象のデータを検索し削除する、といったことが容易に実現できます。 さらに IBM Storage Protect for Cloud Microsoft 365 には、特定範囲の管理権限をヘルプデスクに委譲したり、ユーザーがセルフサービスでリストアできる機能があります。また、機械学習により早期の異常検知を実現し、ランサムウェアへの防御⼒を向上しています。 IBM Storage Protect for Cloud Salesforce では、開発・テスト用のサンドボックス環境に個人情報の排除や匿名化を行いながらバックアップデータを登録する、といったことが行えます。 図4. わかりやすいグラフから状況を把握してすばやくアクションを取ることが可能 エヌアイシー・パートナーズにご相談ください IBM では、Storage Protect for Cloud の30日間の無償トライアルを実施しています。試してみたいと思われたお客様は、ぜひエヌアイシー・パートナーズまでお声がけください。御社の SaaS環境全体を念頭に置いて、バックアップ・リストア運用体制構築を支援させていただきます。 さらにエヌアイシー・パートナーズでは、バックアップソリューションを超えた企業情報システム全体の最適化提案も行っています。お客様の抱える課題を根本解決するための方法を、リセラー企業の方々とともに汗をかきながら探り出すのがエヌアイシー・パートナーズの使命です。 どのようなことでもお気軽にご相談ください。 お問い合わせ この記事に関するお問い合せは以下のボタンよりお願いいたします。お問い合わせ 関連情報 NI＋C Pサイト情報 IBM Storage Protect for Cloud- セキュアな暗号化、コンプライアンス、高度な脅威検知のための信頼できるソリューションとして、Azure、Microsoft 365、Dynamics 365、Salesforce のデータを保護します。 .highlighter { background: linear-gradient(transparent 50%, #ffff52 90% 90%, transparent 90%); } .anchor{ display: block; margin-top:-20px; padding-top:40px; } .btn_A{ height:30px; } .btn_A a{ display:block; width:100%; height:100%; text-decoration: none; background:#eb6100; text-align:center; border:1px solid #FFFFFF; color:#FFFFFF; font-size:16px; border-radius:50px; -webkit-border-radius:50px; -moz-border-radius:50px; box-shadow:0px 0px 0px 4px #eb6100; transition: all 0.5s ease; } .btn_A a:hover{ background:#f56500; color:#999999; margin-left:0px; margin-top:0px; box-shadow:0px 0px 0px 4px #f56500; } .bigger { font-size: larger; }
こんにちは。てくさぽBLOGメンバーの高村です。 Part1はご覧いただけましたでしょうか。watsonx.ai にご興味をもっていただければ幸いです。 Part2（本記事）は応用編ということで、watsonx.ai を利用した Retrieval-Augmented Generation（以下 RAG）検証をやってみた感想をご紹介します。 目次 RAGとは？ watsonx.aiを使ってRAGを検証してみた さいごに お問い合わせ RAGとは？ 生成AIの分野で「RAG」が話題となっていることはご存じでしょうか。RAG とは、言語モデルが学習していない社内情報や最新情報などのデータ（以下 外部データ）から情報を補完し、言語モデルが生成する回答の品質を向上するフレームワークです。 例えば言語モデルのみを利用した QA の場合、図1の様にユーザが質問をすると、生成AI は質問に対して的確に答えることもあれば、学習データに含まれたいい加減な情報を吐き出すこともあります。言語モデルのチューニングにより回答精度を調整することも可能ですが、都度アップデートされる情報をモデルに学習させることは労力が必要です。 図1. 言語モデルのみを利用した場合の情報検索 そこで考えられたのが、RAG というフレームワークです。 図2のように、外部データをデータベースに保存しその検索結果に基づいて言語モデルに回答を生成させることで、より正確な情報を得ることが可能です。 図2. RAGを利用した情報検索 RAGのメリット RAG は、検索と生成AI を統合することでより正確な関連性の高い回答を提供します。以下は、RAG を利用することで得られるメリットです。 より正確な情報を得られる：初めに外部の知識ベースで検索を実行するため、生成AI だけを使った回答よりもより専門的で正確な回答を提供します。 質問の文脈を踏まえた回答を得られる：検索と生成AI を組み合わせることで多くの情報源から情報を収集し、人間のような新しい回答を生成することができます。 モデル学習に必要なデータ準備と作業労力を削減：言語モデルの訓練には大量のデータが必要ですが、RAG は外部データを利用するためモデルへ学習データを取り込むた必要がなく、チューニングにかかる労力も削減できます。 RAGの活用シーン RAG は様々な業種での活用が考えられます。以下に具体例を挙げます。 顧客サポート：コールセンターや保守業務において、顧客の問い合わせに対して専門的かつ正確な回答を提供します。RAG を利用することにより迅速な回答提供や効率的な運用が可能となり、顧客満足度を向上します。 バックオフィス業務サポート：社内情報の検索において、自己調査が容易になり対応時間を短縮することが可能です。 オペレーション業務サポート：例えば現場作業員の機器操作手順など、RAG を利用することにより効率的に解決することが可能です。 watsonx.aiを使ってRAGを検証してみた watsonx.ai の言語モデルを利用し、自分の端末から PDF の内容を QA をする RAG を作ります。利用するコンポーネントは以下の4つです。 watsonx.ai：回答を生成する生成AI。言語モデルは llama-2-70b-chat を利用します。 ベクターストア：今回はオープンソースのベクターストアである ChromaDB を利用します。ベクターストアとはデータを文字列ではなくベクトル形式で保管するデータベースです。PDF の内容を質問するため、LangChain により PDFデータをテキストとチャンクに分け、変換し、ベクターストアに取り込みます。 LangChain：言語モデルを活用したサービス開発する際に利用するオープンソースライブラリです。PDF をベクターストアに保存する際にチャンクデータとして分割したり、ベクターストア内を検索し結果を watsonx.ai へ渡します。 PythonSDKの実行環境 --Jupyter Notebook--：LangChain は Python と JavaScript の2つの言語プログラミング言語に対応していますが、今回は Python の LangChain を利用します。PythonSDK の実行環境として作業端末に Anaconda をインストールし、Jupyter Notebook からスクリプトを実行します。 QA処理の流れは以下の通りです。 LangCain経由で質問 LangChainからベクターストアへ情報検索 検索結果をLangChainへ渡す 検索結果をwatsonx.aiの言語モデルへ渡す watsonx.aiが回答を生成し、回答 それではさっそく RAG を作って検証してみましょう。 watsonx.aiプロビジョニング、プロジェクト作成 事前に watsonx.aiプロビジョニング、プロジェクト作成が必要です。※作成方法は part1 をご参照ください APIキー、プロジェクトIDの取得 watsonx.ai の言語モデルに接続するためには、APIキーとプロジェクトID の取得が必要です。 APIキーの取得は IBM Cloud画面「管理」⇒「アクセス（IAM）」をクリックし、「APIキー」をクリックします。 「作成+」をクリックし、任意の名前と説明を入力しキーを作成します。 APIキーが作成されたので、コピーして手元にメモしておきます。 次に、watsonx.ai のプロジェクトIDを取得します。 watsonx.ai のプロジェクトをクリックします。 「管理」タブから「一般」をクリックするとプロジェクトID が表示されるので、コピーして手元にメモします。 PythonSDKの実行環境準備 以下の URL から Anaconda のイメージをダウンロードし、作業端末にインストールし、インストールが完了したら Jupyter Notebook を起動します。「https://www.anaconda.com/download」 事前に作成したスクリプトをクリックして開きます。 認証設定、モジュールのインポート はじめに、必要な Pythonライブラリをインストールします。 「Run」ボタンをクリックすると、セル内のプログラムが実行されます。 セルの左箇所が [＊] から [1] になると完了です。特にエラーが出力されていないことを確認します。 認証情報をセットします。 先ほど取得した APIキーとプロジェクトID、エンドポイントの URL を指定します。今回はダラスの Watson Machine learning を使用しているので、ダラスのエンドポイントを指定します。※エンドポイントの URL は「IBM Cloud API Docs」から確認できます LangChain で使う Watson Machine learning のモジュールを複数インポートします。 一旦 LangChain 無しで watsonx.ai の言語モデルに質問をしてみたいと思います。 まず、使用する言語モデルのパラメータを設定します。以下に各パラメータの説明を記載します。 パラメータ名 値の範囲例 内容 MAX_NEW_TOKENS 1~1000の整数値 一度に生成されるトークンの最大数を制御する。 TEMPERATURE 0.00~2.00 生成されるテキストの創造性を制御する。値が低いと予測可能なテキスト、値が高いと創造的なテキストを生成する。 TOP_K 1~100の整数値 各ステップで考慮されるトークンの数を制御する。 モデルは、トークンの確率分布から上位K個のトークンのみを考慮し、残りは無視する。 TOP_P 0.01~1.00 累積確率の閾値を設定する。モデルは累積確率がこの閾値を超えるまでのトークンのみを考慮しま 質問する言語モデルをセットします。 質問をしてみたところ、正常に回答が返ってきました。 LangChainの作成 それでは、LangChain を作成していきます。 LangChain に必要なモジュールをインポートします。 pdfsフォルダにある PDF を読み込み、ベクターストアへ取り込みます。ベクターストアへ取り込むみする際は LangChain で提供される intfloat/multilingual-e5-largeモデルを使用します。 言語モデルは Llama2 を使用します。先程と同様にモデルの設定とパラメータを定義します。Llama2 は回答指示を渡すことが推奨されているため以下の様に指示文を追加します。 RAGを使って質問する PDF の内容を質問したところ、PDF から該当箇所を検索し回答が生成されました。 ChatUI を起動して質問します。また、PDF のどの箇所を参考にしたか出力するよう指示します。（補足：ChatUIはPythonライブラリのGradioを使用） ChatUI で質問してみました。実用化したときのイメージが湧きますね。 PDF のどの箇所を検索したのか、参考箇所も出力されています。 以上が、watsonx.ai の言語モデルを利用した RAG検証です。 今回は1つの PDF で検証しましたが、回答まで30秒ほどかかりました。複数の PDF を検索する場合はもう少し時間がかかりそうなので、実用するには調整が必要かもしれません。 さいごに いかがでしょうか。言語モデルに更新情報や専門的な情報をチューニングするのは手間がかかりますが、RAG を使えば、情報をベクターストアに格納して簡単に検索できます。 今回は PDF の内容を検索するものでしたが、テキストの内容や URL の情報も検索可能です。また Google Colab を使えば、Googleドライブ上のフォルダ内の情報も検索できることが確認できています。 今回の検証で費用が発生した製品は watsonx.ai のみで、LangChain やベクターストアはオープンソースを利用しています。それほどコストをかけずに実装できるため、社内の検索システムとして導入するなど取り掛かり易い点が魅力的だと思います。 本ブログを読んでいる方々の社内共有プラットフォームにも、RAG を用いた検索システムを導入できるかもしれません。ぜひ試してみてください。 "音声から情報を検索して回答を生成する" など、より高機能なシステムを検討している場合は、watsonx Assistant や Watson Discovery と連携することで実現可能です。ソリューションの詳細は個別にご説明いたしますので、お問い合わせください。 2024年2月頃、日本語で訓練された言語モデル「Granite」の提供が予定されています。Llama2 などの言語モデルも日本語の回答は可能ですが、日本語の精度は保証されていません。そのため、新たな「Granite」モデルの提供により、日本国内で watsonx.ai の実用化が進むことを期待しています。 お問い合わせ この記事に関するご質問は下記までご連絡ください。 エヌアイシー・パートナーズ株式会社E-Mail：nicp_support@NIandC.co.jp .highlighter { background: linear-gradient(transparent 50%, #ffff52 90% 90%, transparent 90%); } .anchor{ display: block; margin-top:-20px; padding-top:40px; } .btn_A{ height:30px; } .btn_A a{ display:block; width:100%; height:100%; text-decoration: none; background:#eb6100; text-align:center; border:1px solid #FFFFFF; color:#FFFFFF; font-size:16px; border-radius:50px; -webkit-border-radius:50px; -moz-border-radius:50px; box-shadow:0px 0px 0px 4px #eb6100; transition: all 0.5s ease; } .btn_A a:hover{ background:#f56500; color:#999999; margin-left:0px; margin-top:0px; box-shadow:0px 0px 0px 4px #f56500; } .bigger { font-size: larger; }
