InfiniBandの技術アーキテクチャとプロトコル解析

インフィニバンドオープンな標準技術を簡素化し、サーバー間の接続を高速化し、リモートストレージおよびネットワークデバイスとサーバへの接続をサポートしています。

IBの技術開発

1999年以来の仕様や規格の起草、2000年に出版されたが、成長率は急速なI / O、PCI-X、PCI-EおよびFC、プラスの10Gbpsに1Gbpsのイーサネットから進行よりも少ないました。だから、2005年後まで、インフィニバンド・アーキテクチャ(IBA)が広く、クラスタスーパーコンピュータで使用されました。システムのセットのか​​なりの数のグローバルトップ500スーパーコンピューター大きなパフォーマンスは、IBAを使用しています。

より多くの大企業が参加するか、そうでCisco、IBM、HP、日、NEC、インテル、LSIとを含む、過去にキャンプにそれを返すされています。InfiniBandは、高性能コンピュータ相互接続技術の主流となっています。高いI / Oスループット要件のHPC、エンタープライズデータセンターとクラウド・コンピューティング環境を満たすために、高速FDR 56Gbpsの新世代(フォーティーンデータレート)およびEDRのInfiniBand技術が浮上しています。

技術のIBの利点

FC / IP SAN、NAS及び多数のサーバーとの間のインフィニバンド接続、iSCSIのRDMAストレージプロトコルは、IETFのiSER標準化されているように。EMCは、現在のInfinibandネットワーキングのフルラインに切り替わった、FlashSystemシリーズのIBM / TMSは、IBMのストレージ・システムXIV第三世代、DDNのSFAシリーズは、Infinibandネットワークを使用しています。

性能のFCに比べ主な利点は、インフィニバンドスイッチ遅延は1/10 FCスイッチ、SANのサポートとNASで、FCの3.5倍です。

ストレージシステムは、裸従来のFC SAN接続アーキテクチャが提供される格納されたネットワークサーバーを満たしていません。HP SFSとIBM GPFSは、サーバやストレージの建物のiSERインフィニバンド並列ファイルシステムを接続するInfiniBandファブリックである完全にシステム性能のボトルネックを突破しました。

InfiniBandは、EDR HCAにSDR、DDR、QDR、FDRから高帯域PCIシリアルリンク接続を使用して、リンク層のフロー制御メカニズム基づく高度な輻輳制御のためにもナノレベル1繊細な、低レイテンシを行うことができ。

インフィニバンド仮想チャネル(VLすなわち仮想レーン)のQoSを達成するための方法を使用して、いくつかの共有仮想チャネルは、他の別個の論理通信リンクの物理リンクは、各物理リンク15個の仮想チャネルと、標準管理チャネルをサポートすることができ、あります(VL15)。

カーネルバイパスRDMA技術は、RDMAは完全にCPUの負荷をアンインストールして、読んで、リモート・ノード間の書き込みアクセスを提供することができ、ハードウェアベースのプロトコルは、信頼性の高い伝送と高い性能を来ました。

TCP / IPネットワークプロトコル、IBベースの信頼、接続の整合性を確保するための制御機構を流れと比較すると、パケットロスまれ、データ送信後、受信者は、バッファ領域の可用性をマークするリターン信号を完了IBのでれます効率と全体的なパフォーマンスを向上するように、元の契約ので、パケット損失および再送信による遅延を排除します。

常に再送信を確認するために損失が前方持つTCP / IPパケットの能力が、しかしにより、より低速に基づく通信プロトコルは、したがって、大幅にパフォーマンスに影響します。

IBの基本概念

IBは、チャネルベースの双方向シリアル伝送、接続トポロジーは、回線が使用可能IBA中継器(リピータ)が延びて十分に長くない場合、(ファブリックスイッチ)のスイッチング構造を使用して切り替えられています。複数のIBASubnetを通過するために、各サブネット内の65,536ノード(ノード)まで、IBAスイッチ、IBARepeaterのみサブネットカテゴリに、サブネット(サブネット)と呼ばれる各IBAネットワークは、(IBAルーターを使用する必要がありますルータ)またはIBAゲートウェイ(ゲートウェイ)。

各ノード(ノード)アダプタ(アダプタ)を介して接続され、IBAサブネット、ノードCPU、記憶しなければならない、HCA(ホストチャネルアダプタ)への送信がサブネットに接続され、ノードハードディスク、I / Oは(TCAを通過する必要がありますTargetChannelアダプタ)はサブネットに接続され、そのようなトポロジーは、完全なIBAを構成しています。

IBおよび伝送媒体が非常に柔軟であり、プリント回路基板は、機械装置における銅線の転写箔(バックプレーンバックプレーン)、利用可能な銅ケーブルまたは光ファイバの外部から媒体をさらにサポートを使用することができます。銅箔場合、17メートルまでの銅、及び光ファイバが、10キロであることが、一方IBAもホットスワップ可能、自動検出、インテリジェントアクティブケーブル接続機構の活性化の自己調整を有します。

IBプロトコルの概要

InfiniBandは(TCP / IPプロトコルに類似する)階層型プロトコル、異なる機能を担うそれぞれ、異なるレベルで互いの上サービスのための低い、独立しています。IPv6ヘッダーフォーマットのIB採用。LRH、グローバルルーティング識別子GRH、基本伝送識別子BTH好きなローカルルーティング識別子を含むパケットヘッダ。

1、物理層

物理層は、光ファイバ及び銅ケーブルとメディア出口、バックプレーンコネクタ、熱交換特性を含む電気的および機械的特性を、定義します。それは背中、ケーブル、光ファイバケーブル3つの物理ポートを画定します。

データフレームを形成するために、データシンボル(DataSymbols)、および直接充填パッケージ(空転)(開始および終了を含む)のシンボルを定義します。アライメントマーク、又はデータ・シンボル間の開始と終了無効デリミタ、なしパリティエラー、同期方法をフレーミング、そのようなシンボル符号化として、効果的なシグナリングプロトコルパケットを構築するための詳細。

2、リンク層

そのようなサブネット内のパケットのルーティングおよびフローコントロールとして、リンク層およびパケット・データ・プロトコル・パケット・オペレーションの形式を記載しています。リンク管理データリンク層パケットとデータパケットの2種類のデータパケット。

図3に示すように、ネットワーク層

IPネットワークのネットワーク層と同様のサブネット間のパケットを転送するネットワーク層プロトコル。データ経路は、サブネット内のネットワーク層のデータ転送に参加することなく、サブネットを持っています。

サブネット間の転送パケットをルーティングするために、グローバルルーティングヘッダGRHを含むパケット。グローバルIPv6ルーティングヘッダは、ルータはGRH基づいてデータパケットを転送し、送信元ポートと宛先ポートのグローバル識別子(GID)を使用して、アドレス形式を示しています。IPv6ヘッダフォーマットを使用GRH。GIDが一意に各サブネットとサブネット・ポート識別子GUIDによって一緒に結ば。

図4に示すように、トランスポート層

トランスポート層は、パケットを分配する責任チャネル多重化、および基本的な伝送サービスメッセージ処理セグメントの送信、受信、および組換えあります。トランスポート層の機能は、各トランスポートパケットキュー(QP)に指定され、どのようにパケットキューの処理を示しています。負荷の最大伝送単位(MTU)がデータパスメッセージパスよりも大きい場合、トランスポート層は、複数のパケットにメッセージを分割する責任があります。

指定されたデータバッファにデータを再構築するための責任受信側キュー。元のデータパケットに加えて、すべてのパケットはBTH、BTH指定された宛先キューを含み、操作種別、パケットシーケンス番号及びパーティション情報を示しています。

図5に示すように、上位層プロトコル

インフィニバンドは、異なるユーザのタイプ、および特定の管理機能のために定義されたメッセージ及びプロトコルの異なる上位層プロトコルを提供します。インフィニバンド主支持SDP、SRP、のiSER、RDS、IPoIBのとのuDAPLおよび他の上位層プロトコル。

SDP(SocketsDirect Protocol)は、インフィニバンド貿易連合(IBTA)は、ユーザーが高速のInfiniBandの上で実行されている既存のTCP / IPプロトコルを使用することができますインフィニバンドが開発したプロトコルに基づいています。

SRP(SCSIRDMAプロトコル)インフィニバンドにおける通信プロトコルであり、SCSIコマンドは、インフィニバンドに包装され、SCSI通信RDMAを達成するために、異なるシステムのRDMA(リモートダイレクトメモリアクセス)との間の通信を可能にするコマンド、および共有ストレージデバイスサービス。

iSER(iSCSIRDMAプロトコル)同様のSRP(SCSI RDMAプロトコル)プロトコルであり、プロトコルはIB SANであり、その主な役割は、一例として移動するiSCSIプロトコルのコマンドおよびデータであり、そのようなiSCSIのRDMAのようなRDMA InfinibandネットワークiSERストレージプロトコルはIETFが標準化されています。

インフィニバンド上でデータを送受信するための使用のために設計されたUDPソケットに似てRDS(ReliableDatagramソケット)プロトコル。実際にはオラクル社が開発し、直接IPCプロトコルに基づいて、インフィニバンド上で実行されます。

IPoIBの(IPオーバーIB)は、ユーザ・アプリケーションのためのTCP / IPプロトコルに基づいて、TCP IP /ネットワークと互換性が制定契約InfiniBandネットワークを達成することで透明であり、元の使用であり、より大きな帯域幅を提供することができますTCP / IPプロトコルスタックのアプリケーションは、IPoIBのを使用するように変更を加える必要はありません。

uDAPL直接APIライブラリにアクセスするには(UserDirectアクセスプログラミングライブラリ)ユーザプログラムは、リモートダイレクトメモリ相互接続(例えば、インフィニバンド)アクセスRDMA機能により、データセンターのデータメッセージングアプリケーションのパフォーマンス、スケーラビリティ、および信頼性を向上させるために、標準です。

IBのシナリオ

インフィニバンド可撓性支持体ストレート主高性能コンピューティングHPCシーン、大規模なデータセンターおよび他の高性能ストレージシナリオの複数のネットワークスイッチは、HPCの共通の願望は、低レイテンシアプリケーション(<10秒)、低CPU占有率であります率(<10%)および高帯域(56又はメイン100Gbps級)

RDMAインフィニバンド技術を使用してホスト側はCPU負荷を解放一の態様では、遅延は1マイクロ秒に数十マイクロ秒を処理するホストデータから減少させることができ、インフィニバンド一方、高帯域幅ネットワーク(40G、56Gと100G)、低待ち時間(数百ナノ秒)と無損失特性がFCとイーサネットネットワーク柔軟な拡張機能の信頼性を学びました。
--------------------- 
著者:ハーディハンディ 
出典:CSDN 
オリジナルます。https://blog.csdn.net/swingwang/article/details/72887367 

おすすめ

転載: blog.csdn.net/jsd2honey/article/details/87867994