こんにちは。てくさぽBLOGメンバーの佐藤です。
最近 AI やディープラーニング基盤がブームとなっています。
そんな中弊社にも「1台では処理能力が不足するため、サーバー同士を接続してクラスタリングしシステムの処理能力を高めたい」との相談があります。
その際ポイントとなるサーバー同士を接続するネットワーク基盤として、InfiniBand か 10Gbps~40GbpsEther との比較で悩まれる方が多いかと思います。
InfiniBand はよくわからないから Ether でと選択される方もなかにはいらっしゃるのではないでしょうか？
InfiniBand はメリットがありますが、残念ながら Ether ほど普及はしていないため資料も非常に少なく、何なのかよくわからない方も多いと思います。
そこで今回は「InfiniBand」について解説していきます。
InfiniBandの歴史
デビューは2000年となり、歴史はかなり古いです。
当初は Intel が PCI-X の次世代規格として超強力に推進していましたが、結果 PCI-Expless が主流となり目論見が外れ Intel は早々に撤退、Microsoft も WindowsServer2003 でネイティブサポートしないことを発表したりと冬の時代が続きます。
最近では、2012年に Intel が Qlogic から InfiniBand 事業を買収して再参入といった動きがあります。
なお、WindowsServer2012 以降では標準ドライバが付属しますので、現在では安心してお使いいただけます。
InfiniBandのコンセプト (理想)
InfiniBand の基本コンセプトは “Bandwidth Out of the Box” です。
抄訳すると「PCI-Express のような内部の広帯域バスをそのまま外部接続用のポートとして使用する」となります。
内部バスという数十cm という短距離から SAS のような周辺機器系との数～10m程度の接続、Ether のような 10km といった長距離通信まですべてを賄うという野心的な規格でした。(当初の計画では…）
InfiniBandの用途 (現実)
さて、InfiniBand の現実ですが、歴史でもふれたように内部接続については PCI-Express に奪われてしまい頓挫しました。
現実には内部接続で採用された例はありません。
また、周辺機器系との接続についても USB や SAS、FC が主流となっており、IBM Flash900 のような一部の例を除いて InfiniBand の出番はありません。
当然のように長距離通信については Ether が主流となっており、こちらも出番がありません。
InfiniBand が活躍する場面は IBM の A9000 や EMC の VMAX といった Storageコントローラと Storageコントローラ、もしくは Storageコントローラと Storageドロワー間を超高速で接続するといった用途や、HPC のノード間接続 (サーバ同士の接続) に利用されています。
市販されている製品でも結構採用はされていますが、エンドユーザーの気づかないところに使われていることが多いです。
InfiniBandのメリット
では何が InfiniBand の何が、メリットでしょうか？
わかりやすく言うと、以下の3点です。
- 超高速
- 低レイテンシ
- 低価格
1．超高速
以下に InfiniBand の規格を並べます。
| SDR | DDR | QDR | FDR | EDR | |
|---|---|---|---|---|---|
| 1X | 2Gbps | 4Gbps | 8Gbps | 14Gbps | 25Gbps |
| 4X | 8Gbps | 16Gbps | 32Gbps | 56Gbps | 100Gbps |
| 12X | 24Gbps | 48Gbps | 96Gbps | 168Gbps | 300Gbps |
1X、4X、12X というのはチャンネル数で複数を束ねることにより高速化を実現します。
通常一般的に販売されている HCA (Etherカードのようなもの）やスイッチは4Xタイプのものなので、4X を基準として見るとわかりやすいかと思います。
現行世代は EDR となり、100Gbps になります。
なお、2017年中に次世代の HDR が登場予定です。速度は 4X で 200Gbps となります。
「100Gbps なら Ether もあるではないか」と思われる方もいると思いますが、次に記載する2と3の理由からメリットがあります。
2．低レイテンシ
InfiniBand は低レイテンシです。*1
理由は複数ありますが、TCP/IP と比較してもともと高速にやり取りするために設計されていること、高速にやり取りするためのプロトコルが実装されていることが挙げられます。
その一つに、最近は Ether でも実装されていますが、RDMA があります。
RDMA は、ものすごくおおざっぱに説明すると宅配BOX のような仕組みです。
TCP/IP だと、配達先の住人の有無の確認、荷物の受け渡し、印鑑の授与が必要で、すべてにおいて受取人 (CPU) を介する必要がありますが、RDMA だと、配達先の宅配BOX (メモリ) の空きを確認するだけで、後は BOX に配達して完了通知して終了となり、CPU をほとんど介さずにデータ転送することが可能です。
*1. InfiniBandパフォーマンス : http://jp.mellanox.com/page/performance_infiniband
3．低価格
InfiniBand は速度のわりに超低価格です。
なぜか？ベンダーである Mellanox が長年頑張ってきたのも理由の一つですが、SDR~EDR すべての世代においてメタルケーブルを標準供給してきたのが非常に大きいです。
残念ながら EDR では最大長が 3メートルとなってしまいましたが、ラック内配線としては十分です。
光ケーブルだと長距離配線が可能ですが、トランシーバーモジュールの価格が非常に高価になりますので価格が吊り上がります。
スイッチについても、FCスイッチと比較すると半額以下、しかも1台で済んでしまいます。
比較するメーカーによりますが、100GbpsEtherスイッチと比較しても相当に安価な価格で提供されています。
なお、3M以上の配線を行いたい場合は光ケーブルの用意もありますのでご安心ください。
必要なところのみ光ケーブルで配線してもらえればと思います。
参考 :
Mellanox MCP1600-E003 Passive Copper Cable IB EDR up to 100GbpsQSFP LSZH 3m 26AWG mellanox.com 参考価格210ドル
– 100Gbpsでメタルケーブルは驚異的！26AWGなので取り回しはかなり固そうです。
Mellanox MFA1A00-C100 Active Fiber Cable Ethernet 100GbE 100Gb/s QSFP LSZH 100m mellanox.com 参考価格3057ドル
– こちらはファイバの100mケーブル、トランシーバー内蔵しています。100mなので特に高額ですが、ファイバタイプだとこういう価格帯になります。
まとめ
InfiniBand は同一ラック内といった短距離接続であれば比類なき速度と低価格を実現します。
IBM でも純正オプションとして供給しており、Storage では Flash900、サーバーでは Minsky等の PowerSystem に搭載可能です。
供給ベンダも実質 Mellanox がほとんどで一部 Qlogic (Intel) といった状況ですので、相性問題も皆無です！
知名度が高いわけではありませんが、これを機にぜひ活用していただければと思います。
お問い合わせ
この記事に関する、ご質問は下記までご連絡ください。
エヌアイシー・パートナーズ株式会社
技術支援本部
E-Mail：nicp_support@NIandC.co.jp
