Kubernetes ネットワークを説明する 16 個の本格的な図

概要

この記事では、Kubernetes のネットワークモデルについて説明し、さまざまなネットワークモデルを分析します。

アンダーレイネットワークモデル

アンダーレイネットワークとは

名前が示すように、基盤となるネットワークは、スイッチ、ルーター、およびネットワークメディアを使用してそれらをリンクする物理ネットワークトポロジなどのネットワーク機器インフラストラクチャをUnderlay Network 指し、ネットワーク間のデータパケットの送信を担当します。DWDM

アンダーレイネットワークトポロジ

underlay network これはレイヤ 2 またはレイヤ 3 であり、レイヤ 2 の典型的な例はイーサネット Ethernet、レイヤ 3 の典型的な例はインターネットです Internet。

第 2 層で動作する技術は、 vlan第 3 層で動作する技術がなどのプロトコルで構成されているということ OSPFです BGP 。

k8s のアンダーレイネットワーク

kubernetesではunderlay network ホストマシンをルータ装置として利用することが代表例であり、Podネットワークはルーティングエントリを学習することでクロスノード通信を実現します。

Kubernetes のアンダーレイネットワークトポロジ

このモデルの下には典型的なパターンとパターンflannel があります。host-gwcalico BGP

フランネルホスト-GW

flannel host-gw このモードでは、各ノードは同じレイヤ 2 ネットワーク内に存在する必要があり、ノードはルーターとして使用され、ノード間の通信はルーティングテーブルを通じて実行され、ネットワークが 1 つとしてシミュレートされます。underlay network。

レイヤ 2 イーサネットトポロジ

注: ルーティングを経由するため、クラスターの CDR は少なくとも 16 に設定する必要があります。これにより、ノード間のノードがネットワークのレイヤーとして使用され、同じノード上のポッドがネットワークとして使用されることが保証されます。そうでない場合、ルーティングテーブルは同じネットワーク内にあり、ネットワークに到達できなくなります。

キャリコBGP

BGP ( Border Gateway Protocol) は、分散型自律ルーティングプロトコルです。これは、前缀IP ルーティングテーブルを維持することによって AS ()Autonomous System間のアクセスを実現し、ベクトルルーティングプロトコルに属します。

BGP ネットワークトポロジ

違い flannel は、Calico 提供される BGP ネットワークソリューションはネットワークモデルと似てCalico います Flannel host-gw が、ソフトウェアアーキテクチャの実現において、プロセスはルーティング情報を維持するために flannel 使用され、複数のデーモンプロセスが含まれていることです。ルートリフレクター ( ) の場合、クライアントはそこから、リフレクターは BGP で最適化された役割を果たします。同じ IBGP では、BGP クライアントは 1 つに接続するだけでよいため、内部で維持される多数の BGP 接続が削減されます。通常、クライアントとして機能するのは実際のルーティングデバイスです。flanneldCalicoBridBGPRouter ReflectorBGPFelixBGP PeerRRASRRBirdBGP

Calico ネットワークアーキテクチャ

IPVLAN と MACVLAN

IPVLAN これ MACVLAN はネットワークカード仮想化テクノロジであり、この 2 つの違いは、 IPVLAN 物理ネットワークカードが複数の IP アドレスを持つことができることと、すべての仮想インターフェイスが同じ MAC アドレスを使用すること、逆に、 MACVLAN 同じネットワークカードが複数の IP アドレスを持つことができることです。複数の IP アドレス、複数の MAC アドレス、および仮想ネットワークカードには IP アドレスがない場合があります。

本質的にはネットワーク仮想化技術ではなくネットワークカード仮想化技術であるため、 Overlay network仮想化環境におけるこの方式 Overlay network の最大の特徴は、PodネットワークをNodeネットワークと同レベルに平準化し、より高いパフォーマンスを提供できることです。、低遅延ネットワークインターフェイス。基本的に、そのネットワークモデルは、次の図の 2 番目のネットワークモデルに属します。

仮想ネットワーキングモード: ブリッジング、多重化、SR-IOV

仮想ブリッジ: 仮想ネットワークカードペア (veth ペア) を作成し、一方の端をコンテナ内に、もう一方の端をホストマシンのルート名前空間に作成します。このようにして、コンテナから送信されたデータパケットはブリッジを介してホストネットワークスタックに直接入力でき、コンテナに送信されたデータパケットもブリッジを介してコンテナに入力できます。
多重化: 中間ネットワークデバイスを使用して複数の仮想 NIC インターフェイスを公開します。コンテナ NIC はこの中間デバイスに介入し、MAC/IP アドレスを使用してパケットがどのコンテナデバイスに送信されるかを区別します。
ハードウェアの切り替えにより、各 Pod に仮想ネットワークカードが割り当てられ、物理マシン間の通信基盤に近いため、Pod 間の接続関係が非常に明確になります。現在、ほとんどのネットワークカードは、単一の物理ネットワークカードを複数の VF インターフェイスに仮想化する SR-IOV 機能をサポートしています。各 VF インターフェイスには個別の仮想 PCIe チャネルがあり、これらの仮想 PCIe チャネルは物理ネットワークカードの PCIe チャネルを共有します。

kubernetes の IPVLAN このネットワークモデルにおける典型的な CNI には、 multus と danm が含まれます。

多くの

multuscni これはインテルのオープンソース CNI ソリューションであり、従来型であり multus、K8 ポッドが SR-IOV VF に接続できるようにする SR-IOV CNI プラグインを提供します。IPVLAN/MACVLAN これが使われている関数です。

新しいポッドが作成されると、SR-IOV プラグインが動作を開始します。構成 VF は新しい CNI 名前空間に移動されます。プラグインは、CNI 設定ファイルの「name」オプションに従ってインターフェイス名を設定します。最後に、VF ステータスを UP に設定します。

以下の図は、Multus と SR-IOV CNI プラグイン、3 つのインターフェイスを持つポッドのネットワーク環境です。

eth0flannel ネットワークプラグインであり、ポッドのデフォルトネットワークとしても機能します
VF は、ホストの物理ポート ens2f0 のインスタンス化です。これは Intel X710-DA4 のポートです。Pod側のVFインターフェース名はです south0 。
この VF は DPDK ドライバーを使用し、VF は ens2f1 ホスト上の物理ポートからインスタンス化されます。これは、Intel® X710-DA4 の別のポートです。ポッド内の VF インターフェースの名前はです north0。このインターフェイスは DPDK ドライバーにバインドされています vfio-pci 。

Mutus ネットワーキングアーキテクチャオーバーレイと SR-IOV

注: 用語

NIC: ネットワークインターフェースカード、ネットワークカード

SR-IOV: シングルルート I/O 仮想化。仮想マシンが PCIe デバイスを共有できるようにするハードウェア実装機能です。

VF: PF に基づく仮想機能は、物理リソースを PF または他の VF と共有します。

PF: PCIe 物理機能。PCIe リソースを完全に制御する機能があります。

DPDK：データプレーン開発キット

同時に、ホストインターフェイスをポッドのネットワーク名前空間に直接移動することもできます。もちろん、このインターフェイスは存在する必要があり、デフォルトネットワークと同じインターフェイスを使用することはできません。この場合、一般的なネットワークカードの環境では、Pod ネットワークと Node ネットワークが同一平面上に直接配置されます。

Mutus ネットワーキングアーキテクチャオーバーレイと ipvlan

くそ

DANM は Nokia のオープンソース CNI プロジェクトであり、multus と同様にキャリアクラスのネットワークを kubernetes に導入することを目的としており、SR-IOV/DPDK ハードウェアテクノロジも提供し、IPVLAN をサポートします。

オーバーレイネットワークモデル

オーバーレイとは

オーバーレイネットワークとは、物理的なネットワークアーキテクチャを変更せずに、ネットワーク仮想化技術を用いて underlay ネットワーク上に構築される仮想的な論理ネットワークです。基本的に、overlay network 1 つ以上のトンネリングプロトコル ( ) は、tunnelingデータパケットをカプセル化することによって、あるネットワークから別のネットワークへの送信を実現するために使用されます。具体的には、トンネリングプロトコルはデータパケット (フレーム) に重点を置いています。

オーバーレイネットワークトポロジ

一般的なネットワークトンネリングテクノロジ

ジェネリックルーティングカプセル化 ( Generic Routing Encapsulation ) は、IPv4/IPv6 からのパケットを別のプロトコルのパケットにカプセル化するために使用され、通常は L3 ネットワーク層で機能します。
VxLAN ( ) は単純なトンネリングプロトコルであり、基本的には、デフォルトポートとして4789Virtual Extensible LANを使用して、L2 イーサネットフレームを L4 の UDP パケットにカプセル化する方法です。これは、 4096 (ビット) から 1600 万 (ビット ) の論理ネットワークへの拡張でもあります。VxLANVLANVLAN IDVN·ID

この種の作業では overlay 通常、モデルの下のモードにと flannel が含まれます。calicoVxLANIPIP

IPIP

IP in IP これもトンネリングプロトコルであり、 VxLAN 同様に、IPIP 実装も Linux カーネル関数を通じてカプセル化されます。IPIP カーネルモジュールは、 ipip.ko コマンドを使用して、カーネルが IPIP モジュールをロードするかどうかを確認する必要がありますlsmod | grep ipip 。このコマンドを使用してmodprobe ipip 、それをロードします。

シンプルな IPIP ネットワークワークフロー

Kubernetes の Kubernetes IPIP と同様にVxLAN 、これもネットワークトンネリング技術によって実現されます。違い VxLAN は、VxLAN 本質的には UDP パケットですが、 IPIP パケットが独自のパケット内にカプセル化されていることです。

Kubernetes の IPIP

Wireshark アンパックを使用した IPIP パケット

注: Azure などのパブリッククラウドでは IPIP トラフィックが許可されない場合があります。

VxLAN

kubernetes における VxLAN の実装は Linux カーネル機能によってカプセル化されています。Linux は長い間 vxlan プロトコルをサポートしていませんでした。2012 年に Stephen Hemminger が関連作業をカーネルに統合し、最終的にカーネル 3.7.0 バージョンで登場しましたflannel 。 calico安定性と多くの機能を確保するために、一部のソフトウェアはカーネルバージョン 3.9.0 以降で使用することが推奨されている場合があります VxLAN。

シンプルな VxLAN ネットワークトポロジ

たとえば、kubernetes の vxlan ネットワークでは、 flannelデーモンプロセスは kubernetes のノードに従って維持され VxLAN、名前は flannel.1 this VNIDとなり、このネットワークのルートは維持されます。ノード間のトラフィックが発生すると、 VxLAN ピアの MAC アドレスが維持されます。アドレスは送信先を知ることができるため、パケットを相手側に送信することができ、パケットを受信した相手側の VxLAN デバイスは、解凍後に実際の宛先アドレスを取得します flannel.1 。

Forwarding database リストを見る

$ bridge fdb
26:5e:87:90:91:fc dev flannel.1 dst 10.0.0.3 self permanent

Kubernetes の VxLAN

Wireshark アンパックを使用した VxLAN パケット

注: VxLAN で使用されるポート 4789、Wireshark はポートに応じてプロトコルを分析する必要があります。Linux のフランネルのデフォルトポートは 8472 です。現時点では、パケットキャプチャには 1 つの UDP パケットのみが表示されます。

上記のアーキテクチャから、トンネルは実際には抽象的な概念であることがわかります。トンネルは確立の両端にある実際のトンネルではなく、物理デバイスを介して送信された後、データパケットを別のデータパケットにカプセル化することによって、同じデバイス (ネットワークトンネル) を展開してネットワークの重畳を実現します。

ウィーブvxlan

Weave はまた、 VxLAN パッケージのカプセル化を完了するテクノロジを使用します。このテクノロジは weave in で呼び出され、およびで使用されるテクノロジfastdp (fast data path)とは異なります。ここでは Linux カーネルで使用され、weave はネットワークトラフィックを暗号化します。calicoflannelopenvswitch datapath module

ウィーブ fastdp ネットワークトポロジ

注: fastdp は Linux カーネルバージョン 3.12 以降で動作しますが、CentOS7 など、このバージョンより低い場合、weave は weave で呼び出されるユーザー空間で動作します。 sleeve mode

参照

https://github.com/flannel-io/flannel/blob/master/Documentation/backends.md#host-gw
https://projectcalico.docs.tigera.io/networking/bgp
https://www.weave. works/docs/net/latest/concepts/router-encapsulation/
https://github.com/k8snetworkplumbingwg/sriov-network-device-plugin
https://github.com/nokia/danm