こんにちは。
てくさぽBLOGメンバーの河野です。
昨今、データ分析やAIといったキーワードを目にしない日は無いというくらい日常会話で使われてきています。データ分析やAIが重要視されるようになってきた背景には、流行語にもなったビッグデータの出現により、例えば顧客に商品を買ってもらうために有効な広告を検討するための分析をすることで、購入してもらう確率を上げることができるようになります。
このように、大量のデータは企業にとっての価値をもたらす要素であり、戦略を考えるにはとても重要な役割を担っています。
このような”ビッグデータ”を効率的に利用・保管/管理するためのソリューションをご紹介いたします
増大し続けるデータ量
データという観点で一番ホットなトピックは、メディア業界における4K,8Kの商業放送の開始です。4K,8K放送が始まったことで映像コンテンツのデータ容量が爆発的に増えています。
どれぐらいデータが増えるのか?については、具体的には画面サイズが HDから4K に変わることで画素数が4倍となり、4Kから8Kに解像度をあげることでも4倍となります。(図 フルハイビジョン, 4K, 8Kの画素数 参照)
更に1画素あたりのビット数や1秒あたりのフレーム数(コマ数)も増加傾向になりますので、データ量もそれに比例して増加していきます。
どれぐらいのデータ量が必要となるのか?についても計算してみましょう。実際の映像データ自身は圧縮して送信されますが、ここでは計算を簡単にするために非圧縮の場合で計算してみます。
1画素あたりはRGBをそれぞれ8bitでの表現と想定し、8bit×3=24bitとなります。
1分あたりに必要な容量は、「総画素数」×24bit×1秒当たりのコマ数(今回は60fpsを想定)×60秒 で計算できます。
フルHD・4K・8Kのそれぞれで容量を計算し、1年間に必要な容量とともに表にまとめてみました。
1分程度であれば、フルHDの画質でスマートフォンのストレージに入るぐらいですが、8Kともなると保管が難しくなるぐらいの容量であることが分かります。
これを1年分保管するとなると、フルHDでも11.7PBと莫大な容量が必要となってきます。
データ分析の観点では、分析対象となるデータが多いほど精度が高まるため大量のデータを保管・準備することが必要になります。
このような大容量データを保管するために最適なストレージは”テープ”となります。
テープはLTO8で1巻あたり12TB(非圧縮)/30TB(圧縮)の保管が可能で、360MB/s(非圧縮:FHドライブ)/900MB/s(圧縮:FHドライブ)の速度で読み書きが可能です。
また、読み書きしないときには電力を消費しないので、消費電力が少なくてランニングコストも少なく済みます。そのため、長期保管するようなデータを保管する先としては最適なストレージといえます。
高速な分析処理の重要性
データ量の増加とともに着目されるのが、高速な分析処理です。
蓄積され続ける大量データを分析するために翌日にならないと結果が出ないというようなタイムスパンでは、情報が飽和している今の時代では適切なアクションのタイミングを逸してしまいます。
適切なアクションを適切なタイミングで実施するためにデータの収集や分析に費やす時間を短縮して、ビジネスに反映することができる環境を用意することが重要です。
サーバの処理性能はもちろんのことデータを読み書きするストレージも分析処理を高速化する上で重要な検討課題です。
分析処理を高速化するための最も簡単な方法がフラッシュ・ストレージの採用です。理想としてはストレージをすべてフラッシュ・ストレージにするオール・フラッシュ化をすることが望ましいところですが、フラッシュ・ストレージはディスクストレージと比べて高価なため、コスト的な観点から導入を躊躇されるユーザーの方も多数いらっしゃいます。
そこでお勧めしたいのがフラッシュ・ストレージとテープとを組み合わせたソリューションです。
フラッシュ・ストレージとテープ装置を組み合わせたソリューション
「コストと性能」という相反する課題は、既存の複数のソリューションを組合せることで解決ができます。コストはテープによって、性能はフラッシュ・ストレージによって得られます。ここで更に組み合わせるSoftware Defined Storage(以降SDS)ソリューションにより、運用面・管理面でもユーザーに負担をかけずに自動化することができます。
このソリューションであれば、企業の生産性も向上し導入のハードルも下がってくるのではないかと考えます。
この統合ソリューションは、以下3点が特長になります。
(1) フラッシュ・ストレージの性能
(2) 一定期間アクセスの無いするアーカイブ・データはコスト・メリットのあるテープ・ライブラリに自動的に移管
※フラッシュ・ストレージ上ではアーカイブ・データは削除され、フラッシュ・ストレージの容量に余裕が生まれます
(3) テープ・ライブラリのデータは、ユーザーからのアクセスに応じてフラッシュ・ストレージへ簡単にデータ移動および再利用が可能
上記により、ユーザーとシステム運用管理者の双方にメリットをもたらします。
IBM製品で実現するソリューション
IBM製品で構成すると以下のようなイメージになります。
データ管理用にフラッシュ・ストレージとテープ・ライブラリーを接続したサーバー および サーバーに導入されたIBM Spectrum ScaleとIBM Spectrum Protect等のSDS製品でこのソリューションが成り立ちます。
IBM Spectrum Scaleは、データ階層管理機能をもち使用頻度の高いデータはフラッシュ・ストレージに配置し、使われなないデータは自動的にテープ・ライブラリーへデータ移管を行います。
IBM Spectrum Protectは、IBM Spectrum Scaleが使われないデータと判断したデータをテープ・ライブラリーへ転送(アーカイブ)させます。テープ・ライブラリー上で管理されているデータであっても、ユーザー自身のディレクトリーやフォルダー上にあるファイルとしてアクセスが可能です。
ユーザーは、ファイルをクリックすることにより、テープ・ライブラリーからフラッシュ・ストレージへデータのアップロードさせることも可能です。その後 一定期間放置すると、フラッシュ・ストレージからテープ・ライブラリーへ自動的に移管されます。この階層管理の仕組みの中にSASやSATAなどのHDDメディアを組み合わせることも可能ですが、ソリューション全体が複雑になりやすいこと、運用設計や運用管理の検討が不可欠であり、高度なノウハウが必要になるため、どういう構成にするのかは状況次第といったところでしょうか。
まとめ
今後、増え続けるデータをいかに安く保管するのかは重要な課題です。また、データ分析やAI利用の高速化のためのフラッシュ・ストレージの検討も重要な要素です。
コストの観点で利用できるフラッシュ・ストレージのリソースが限られることも考えられますので、フラッシュ・ストレージ上に格納したいが消去してはいけないようなデータをテープ・ライブラリーに移管させる機能をSDSを用いて自動化することで、分析業務の高速化と運用コストの低減を同時に図れます。
データ爆発の時代の備えとして”「高速なテープライブラリー」と「フラッシュ・ストレージ」を活用したデータ階層管理ソリューション”を是非ご検討下さい。
※この記事は2019年2月20日時点の情報を基に作成しています。
この記事に関するご質問は、下記までご連絡ください。
エヌアイシー・パートナーズ株式会社
技術支援本部
E-Mail:nicp_support@NIandC.co.jp