ハイパフォーマンスストレージ導入事例：某研究所様

～某研究所様HPSS導入事例～

数百ペタバイトデータの利活用を支える
HPSS階層型ストレージシステム

最終更新日：2024年12月18日

 

HPSS誕生の経緯

HPSS は 1992 年、米国　国立ストレージ研究所 (以下、NSL) の研究によって開発された今年で32年目を迎える製品です。
NSL の主な目的は、ハードウェアとソフトウェアの両方の技術を商品化して、データ ストレージやコンピューティングのボトルネックなど、デジタル情報に関するさまざまなボトルネックを克服することでした。
NSL は、IBM 社と米国エネルギー省の 5 つの国立研究所 (オークリッジ (ORNL)、ローレンス リバモア (LLNL)、サンディア (SNL)、ロスアラモス (LANL)、ローレンス バークレー (LBL)) のコラボレーションによって製品化することに成功しました。

HPSSとは

High Performance Storage System(以下、HPSS)とは階層型ストレージ管理（ Hierarchical storage management：HSM）製品であり、高速/高価なストレージ媒体と低速・安価な媒体の間でデータを自動的に移動させるデータストレージ技術およびデータ管理ソフトウェアです。

ソリッド ステート ドライブアレイなどの高速ストレージ デバイスが、ハード ディスク ドライブ、光ディスク、磁気テープ ドライブなどの低速デバイスよりも高価であるため、すべてのデータを常に高速デバイスで利用するとコストは増大になります。したがって、ハードウェアとストレージ管理ソフトウェアを統合することにより、適切な時、適切な場所に適切なデータを保存し、コストを最適化し、さらに環境にも優しいシステム構築が可能となります。

お客様の課題

一般的なお客様の課題

データを生成するデバイスは、センサーやカメラなどと多様化し、その技術革新によって保存すべきデータの容量は特段に増加している

当研究所様の課題

数百ペタバイトの実験データに対応できるストレージ・システムを２４時間３６５日、システム費用や電気代、設置スペースを考慮して提供すること

膨大な実験データを一切漏らすことなく 確実に蓄積し、研究者へスムーズな高速アクセスを提供すること

お客様の解決策

一般的なお客様の解決策

増え続けるデータの保存場所としてコストの安いクラウドを活用する。但し、データは保存している限りはストレージスペースを保持する必要があり、データを消去しない限り永遠に課金される

当研究所様の解決策

ディスクへの大量データ蓄積の課題を解消するための、 ディスクとテープによる階層型ストレージ・システム

研究者がテープを意識することなく、高いI/Oスループットを提供する 高速分散ファイル・システムと管理ソフトウェア

テープ・カートリッジの煩雑な管理を自動化する、高可用なテープ・ライブラリー

導入効果

国際協調で行われる実験および国際色豊かな研究活動の ホスト国としての責務を果たしていく体制の確立

某研究所様
HPSS導入システム

実験によって生成され、蓄積されるデータの容量は、最終的に数百ペタバイトに達すると予想され、このような膨大なデータをディスク・ストレージで蓄積・運用するのは、システム・コスト、消費電力、スペースの観点で極めて困難です。
そうした中で世界の主要なストレージ技術として位置付けてきたのがテープであり、当研究所では、新しい階層型ストレージ・システムでもIBM TS1160 テープ・ドライブを搭載するIBM TS4500テープ・ライブラリーを採用しました。テープ・カートリッジ1本で最大容量50TBに対応したIBMテープ・ドライブなら、大量データの長期保管に費やすコストを削減することが可能です。
また、IBM TS4500のデュアル・ロボット・アクセサーにより、テープ・カートリッジの運用管理を大幅に簡素化することができます。
もっとも、その都度テープにアクセスしていたのでは、研究者がデータを解析する際に必要とするパフォーマンス要件を常に満たせるわけではありません。そこで当研究所が活用しているのが階層型ストレージ管理ソフトウェアのHPSSで、研究者が利用するデータをディスク上にキャッシュする、いわゆるステージングを行うことで高速なアクセスを実現します。
そして、データのステージング用としてユーザーのフロントに位置するストレージに今回新たに導入したのがIBM Elastic Storage Server（以下、ESS）です。一般的なプロセッサーよりも優れたI/O帯域幅を備えるIBM POWERプロセッサーにより、ESSのビルディング・ブロックは40GB/秒のI/Oスループットを実現しています。このビルディング・ブロックを追加していくことで、性能をスケーラブルに向上させることができます。当研究所ではIBM Spectrum Scaleについても10年以上の運用経験を有しており、そのノウハウに基づいて要求の厳しいワークロードを効率的に処理します。

将来計画

当研究所実験によって蓄積されるデータ容量は数百テラバイトに達すると予想されていますが、その先に行われることになる将来の実験では、さらにその数倍以上の規模のデータ容量に対応できなくてはなりません。
まさに未知の領域であり、指数関数的に増大していくデータをどうやって管理し、最適なストレージ・システムの運用形態を実現していくのか。これまでの延長線上での拡張にとどまらない、新たな技術やアーキテクチャーを導入したイノベーションを追求していきたいと考えています。

AITとイプリザの
協業体制について

AIT は、IBM 社のハードウエア、ソフトウエア製品を中心に、大規模システムの基盤関係の設計、構築、運用の観点で研究開発分野、医療分野など多くの市場において導入実績があり、株式会社イプリザは、大容量ストレージシステムやHPC(High Performance Computing) 領域における科学技術計算分野に関する深い知見と経験を有しています。
今回、膨大なデータを消失することなく蓄積できるストレージ・システムの信頼性と高速性能を実現し、国際協調で行われるさまざまな研究活動の責務を果たしていく体制を確立することができました。
今後AIT とイプリザは、両社が有する強みを最大限に発揮し、それぞれの長所を生かし、シナジー効果を発揮することによって、先進的な技術コンポーネントを含む大規模システムの設計、構築、運用という、困難な課題に共に協力して取り組んでいこうと考えています