NSX-V架构及部署记录

背景介绍

在这里插入图片描述

NSX Manager 是 VMware NSX for vSphere 推出的集中式网络管理组件。VMware NSX 是一个网络虚拟化平台，该平台通过为虚拟机提供网络运作模式，转变了数据中心的运作模式并降低了成本。NSX Manager 可作为虚拟设备安装在 vCenter Server 环境中的任何 ESX™ 主机上。您应该将 NSX Manager 虚拟设备与 NSX 组件安装在不同的 ESX 主机上。可以使用 NSX Manager 设备管理用户界面、命令行界面和 vSphere Web Client 用户界面来安装、配置和维护 NSX 组件。NVP（网络虚拟化平台）是Nicira在被Vmware收购前开发的SDN网络虚拟化平台。
在这里插入图片描述

NSX使用的端口和协议

源	目标	端口	协议	用途	敏感	TLS身份验证

在这里插入图片描述

NSX-V产品组件：

在这里插入图片描述

NSX Controller向上通过REST API与管理平面进行交互，以获取安全证书和租户的业务策略，向下通过私有协议与ESXi主机中Hypervisor中的netcpa进程交互，汇聚数据平面的信息并控制数据包的L2/L3转发。NSX Controller上面存储的信息包括：ARP表（用于在设备本地抑制ARP的泛洪），MAC地址表（用于L2的单播），VTEP表（用于定向封装隧道解除物理网络上的组播）和路由表（用于分布式路由）。ARP/MAC/VTEP表均从ESXi主机的Hypervisor中学习得到，路由表则从DLR Control VM学习得到。

当采用分布式路由处理南北向流量时，DLR（Distributed Logical Router，分布式逻辑路由器）和它下一跳路由器（通常是NSX Edge，也可能是物理路由设备）间的转发逻辑是由传统的分布式路由协议来决策的，DLR的转发平面分布在各个ESXi主机上，如果要为DLR做路由，只能将DLR的控制逻辑从DLR的转发平面抽离出来，与下一跳路由器交互OSPF/BGP等路由协议，以打通南北向流量。DLR Control VM就是承载DLR控制逻辑的实体，它逻辑上属于NSX Controller的一个组件.

DLR Control VM的工作原理:
在这里插入图片描述

1）通过NSX Manager部署、配置DLR Control VM，主要包括DLR的port/MAC/IP和DLR上要运行的路由协议，目前DLR上只支持OSPF和BGP；
2）NSX Controller Cluster将DLR的port/MAC/IP信息发布给ESXi主机，以便在ESXi主机本地进行L3逻辑转发；
3）DLR Control VM与下一跳路由器（图中显示为NSX Edge）交互分布式路由协议，DLR向外发布了租户的IP地址，学习到了通向Internet的路由；
4）DLR Control VM将学习到的路由告诉给NSX Controller Cluster；
5）NSX Controller Cluster向ESXi主机中的DLR反射Internet路由，使其网关指向下一跳路由器（图中显示为NSX Edge）；
6）DLR根据Internet路由将VM产生的Internet送给下一跳路由器（图中显示为NSX Edge）。

控制平面的NSX Controller和DLR Control VM组件，同样是通过虚拟机的形式部署在vSphere环境中的。NSX Controller的工作负载很大，因此需要建立Controller集群，Controller节点间通过PAXOS算法实现同步，为了完成leader的选举，集群中节点的个数需要为奇数。NSX Controller集群通常工作在负载均衡的模式下，不同的ESXi主机可以选择不同的Controller节点作为Master，而且同一个ESXi主机中的VTEP和分布式路由功能也可以选择不同的Controller节点作为Master，后一种负载均衡粒度更为精细，由Cluster Slicing机制来实现。DLR Control VM的负载没有NSX Controller那么大，因此不需要集群，进行简单的主备部署即可。
在这里插入图片描述

NSX-V数据平面的组件包括NSX vSwitch和NSX Edge。NSX vSwitch在VDS的基础上添加了3个kernel module：VxLAN（VTEP：（VXLAN Tunnel End Point，VXLAN隧道端点）），DLR（分布式逻辑路由器）和DFW（分布式防火墙）。NSX Edge则为NSX网络提供了L2 GW以及L3-L7的高级网络服务，如集中式路由/NAT、集中式防火墙、负载均衡、VPN等等。NSX-V没有采用OpenFlow协议，其L2转发由VDS和VxLAN module共同完成，L3转发则由DLR module完成。NSX-V的NSX Edge可以作为vRouter连接租户的虚拟网络和外部网络，允许启用OSPF/BGP等动态路由协议。

其中，对于NSX vSwitch。VDS负责租户的二层转发，VM连接在VDS上。VxLAN module对目的地为其它ESXi主机的L2帧封装VxLAN Header；DLR module负责租户的三层转发，包括东西向流量和南北向流量；DFW与VM的vNIC相关联，可实现per VM的细粒度、定制化的安全防护。由于这些module都是分布式的，不存在单点故障的问题，因此NSX vSwitch本身就具备了很高的可用性，不需要再设计额外的HA机制。

在这里插入图片描述
NSX-V可以通过监听DHCP信令，记录MAC与IP的映射关系，从而可以在ESXi本地代答ARP，以抑制ARP Request的泛洪。

NSX-V对于广播/组播流量的处理，有三种方式：
a）物理网络开启IGMP和PIM做VxLAN组播；
b）源ESXi主机进行头端复制，然后从多个隧道做单播（类似于伪广播），如果广播/组播需要跨网段，源ESXi主机还需要向UTEP（Unicast Tunnel End Point，单播隧道终结点）进行隧道的单播，UTEP解封后会在它所在的网段进行头端复制和伪广播；
c）前两种方式的结合。

NSX-V相比传统网络架构的特性优势：

在这里插入图片描述

NSX-V工作原理：

在这里插入图片描述

在这里插入图片描述

多租户网络：

在 NSX 域中，NSX vSwitch 是在服务器管理程序中运行以在服务器与物理网络之间形成软件抽象层的软件。NSX vSwitch 基于 vSphere Distributed Switch (VDS)，用于提供主机连接到柜顶式 (ToR) 物理交换机的上行链路;最佳实践，VMware 建议您在安装 NSX for vSphere 之前规划并准备 vSphere Distributed Switch。

一个主机可以连接到多个 VDS。一个 VDS 可以跨多个群集中的多个主机。对于将参与 NSX 的每个主机群集，该群集中的所有主机都必须连接到一个通用 VDS。例如，假如您有一个包含 Host1 和 Host2 的群集。Host1 连接到 VDS1 和 VDS2。Host2 连接到 VDS1 和 VDS3。为 NSX 准备群集时，您只能将 NSX 与群集中的 VDS1 相关联。如果向该群集添加另一个主机 (Host3) 且 Host3 未连接到 VDS1，则配置无效，而且 Host3 将无法用于 NSX 功能。

每个 VDS 都包含需要承载的不同流量类型的分布式端口组。典型流量类型包括管理、存储和 vMotion。上行链路和访问端口通常也为必需项。正常情况下，每个 VDS 上会针对每种流量创建一个端口组。端口组依据流量划分不通vlanid隔离，参考如下：

Compute_VDS - Access—VLAN 130

Compute_VDS - Mgmt—VLAN 210

Compute_VDS - Storage—VLAN 520

Compute_VDS - vMotion—VLAN 530

Mgmt_VDS - Uplink—VLAN 100

Mgmt_VDS - Mgmt—VLAN 110

Mgmt_VDS - Storage—VLAN 420

Mgmt_VDS - vMotion—VLAN 430

DVUplinks 端口组是在创建 VDS 时自动创建的 VLAN 中继。作为一个中继端口，它发送和接收标记的帧。默认情况下，它将携带所有 VLAN ID (0-4094)。这意味着带有任何 VLAN ID 的流量均可通过与 DVUplink 插槽关联的 vmnic 网络适配器，并由管理程序主机进行筛选，因为 Distributed Switch 确定了应接收流量的端口组。

NSX部署

【NSX部署配置流程】

在这里插入图片描述

部署流程总结：

首先应部署 NSX Manager OVF/OVA 模板，确保 NSX Manager 完全连接到它将管理的 ESX 主机的管理接口。接下来，需要通过注册流程将 NSX Manager 与一个 vCenter 实例彼此链接。然后，就可以部署 NSX Controller 群集了。与 NSX Manager 一样，NSX Controller 在 ESX 主机上作为虚拟设备运行。下一步是为 NSX 准备 ESX 主机，您需要在主机上安装多个 VIB。这些 VIB 支持第 2 层 VXLAN 功能、分布式路由和分布式防火墙。配置 VXLAN、指定虚拟网络接口 (VNI) 范围并创建传输区域之后，您就可以开始构建自己的 NSX 覆盖拓扑。

示例拓扑：
在这里插入图片描述
NSX部署硬件要求

一般，如果 NSX 受管环境包含超过 256 个管理程序或 2000 个虚拟机，您应该将 NSX Manager 资源增加到 8 个 vCPU 和 24（32） GB RAM，小型环境可采用4核16G内存部署。

软件部署要求
满足软件互操作性限制，产品互操作性列表地址：http://partnerweb.vmware.com/comp_guide/sim/interop_matrix.php。注意，要让 NSX Manager 加入跨 vCenter NSX 部署，需要满足以下条件：
在这里插入图片描述
客户端和用户访问权限

1>如果按名称将 ESXi 主机添加到 vSphere 清单中，请确保正向和反向名称解析正常工作。否则，NSX Manager 将无法解析 IP 地址。

2>添加和打开虚拟机电源的权限

3>访问存储虚拟机文件的数据存储的权限，以及将文件复制到该数据存储的帐户权限

4>在 Web 浏览器中启用 cookie 以访问 NSX Manager 用户界面

5>从 NSX Manager 中，确保可以从要部署的 ESXi 主机、vCenter Server 和 NSX 设备中访问端口 443。需要使用该端口在 ESXi 主机上下载 OVF 文件以进行部署。

6>使用的 vSphere Web Client 版本支持的 Web 浏览器。请参见《vCenter Server 和主机管理》文档中的“使用 vSphere Web Client”以了解详细信息。

【部署过程】

1、通过OVA模板导入部署：

官网下载NSX-manager模板：
在这里插入图片描述

在这里插入图片描述
注意： NSX的时间同步必须要与 vcenter 和 esxi 主机一致，时间敏感！

设置 NSX Manager与 vCenter 关联

登陆 https://nsx_manager_ip ，使用 admin 和设置好的密码登陆 NSX Manager管理页面
在这里插入图片描述

选择 Manager Appliance Settings ，配置 IP、NTP、主机名、 DNS和备份恢复等信息。

选择 Manage vCenter Registration 配置 SSO和 vCenter 信息，显示绿灯后,NSX Manager配置完成。

3、配置 NSX虚拟网络

在这里插入图片描述

登陆 vCenter 主页（使用 NSX注册 vCenter SSO 和 vCetner 服务的权限，如： [email protected] ），会出现Networking&Security 控件和按钮，点击进入 NSX管理页面。
在这里插入图片描述

创建 IP Pool 用于 Controller，IP Pool 地址是与 NSX Manager通信使用，必须注意时间同步。
如果是flash格式的vcenter，窗口是以下这种样式：
在这里插入图片描述

点击【Host Preparation 】并选择需要安装的集群点击 install ，安装 agent。

在这里插入图片描述

对集群内所有主机安装完agent之后，如下：
在这里插入图片描述
选择 Logical Network Preparation ，并点击 configure 配置 VXLAN VTEP信息。

**注意：**必须在此前先创建好 vDS，且确保 vDS所接的物理交换机 MTU值大于1600。

在这里插入图片描述

分段地址池即VXLAN ID池：

创建传输区域，选多播

在这里插入图片描述
完成上述操作后，就可以创建逻辑交换机，创建逻辑网络边界网关，路基路由器，拓扑如下：

注：
1）尽管 NSX 传输区域可以跨越多个群集以及多个 vDS，但连接到用于 NSX 的 vDS 的所有群集应包含在同一传输区域中（传输区域对齐）。如果传输区域外部的群集不运行 NSX 工作负载，则不强制要求满足此条件。多数情况下，一个传输区域就已足够。在任何群集中，只能为 NSX 准备一个 VDS。
2）在使用为 NSX 逻辑网络连接准备的 vDS 的给定群集内，所有主机必须使用相同的上行链路配置和 VLAN ID。对于给定 vDS，VXLAN 流量的绑定策略必须相同。
3）使用多 VTEP 绑定策略（基于源端口的路由或基于源 MAC 哈希的路由）时，在 vDS 上配置的活动上行链路必须全部配置 NSX VTEP。在这种情况下，无法将上行链路隔离到特定端口组，因为 NSX 将为每一个活动上行链路置备一个 VTEP vmkernel 接口。要使用多 VTEP 配置隔离非 VXLAN 流量的上行链路，应置备一个单独的 vDS 并将非 VXLAN 流量移动到该 vDS，或者也可以使用单个 VTEP 绑定策略，并将所需端口组的正确上行链路设置为活动状态。
4）如果为上行链路配置使用 LACP 或静态以太通道，则必须分别使用 LACP 或基于 IP 哈希的路由绑定策略进行 NSX 逻辑网络准备。NSX 将创建单个 VTEP 并依赖 vDS 基于流的负载平衡，以使用 LAG 的所有活动成员。使用此类型的配置时，vDS 上的所有端口组必须为所有流量类型使用该相同的上行链路配置和绑定策略。要灵活地使用不同的绑定或上行链路配置，可以选择为这些端口组使用单独的 vDS。
5）为 NSX VTEP 使用 LACP（链路汇聚控制协议）时，VMware 建议在 vDS 和考虑数据包的完整 L4 标头的物理交换机（具体为 SRC 端口）上选择一种负载平衡方法，以确定用于给定流的 LAG 成员，因为 LACP 将始终查看 VXLAN 封装的流量，这将始终是 UDP，具有相同的 DST 端口，相同的 SRC IP（VTEP vmk 的 SRC IP）和相同的 VLAN。但是，SRC 端口将基于原始（未封装）数据包的 L4 标头具有随机值。要在 LAG 成员上实现更好的负载分配，则在 vDS 上使用“源和目标 IP 地址、TCP/UDP 端口及 VLAN”负载平衡模式，以及在考虑所有 L4 数据包信息的物理交换机上使用类似方法。

基本上每个主机都会将报告（VTEP，MAC，ARP）发送给控制器，并且控制器最终会填充其本地VTEP表，并使用此信息将VTEP报告（VTEP -VNI映射）消息发送给所有托管VM的ESXi虚拟机管理程序 hypervisors，如果没有活动的工作负载，则不会共享连接到同一 VXLAN segment的报告。控制器保留完整的mac arp表，而vteps将仅保留其本地mac arp表。