云计算-服务器虚拟化

01云计算IE

基础知识：

数据中心的变革：
传统数据中心：硬件服务器+OS+APP
虚拟化数据中心：一个硬件可以跑N个VM，成本降低
云数据中心：云是一种商业运营模式，使用虚拟化技术。
ITaaS--自助化服务 灵活性
云计算特征：
1、按需的自助服务
2、广泛的网络连接
3、资源池化
4、可伸缩弹性
5、可计量服务
公有云：服务平台由运营商进行提供，阿里云、华为云以及三大运营商
私有云：服务器及其他设备在本地中心，不予外部云交互
混合云：关键业务及安全性高系统运营在本地，外部应用运营到公有云

虚拟化介绍：

虚拟化使用软件在计算机硬件上创建抽象层，能够将单个计算机的硬件元素（包括处理器、内存、存储器等）分成多个虚拟计算机，通常称为虚拟机 (VM)。 每个 VM 都运行自己的操作系统 (OS) ，其行为类似于独立的计算机，即使它仅在实际底层计算机硬件的一部分上运行。

因此，虚拟化能够更有效地利用物理计算机硬件，使组织的硬件投资获得更大的回报。

目前，虚拟化已成为企业 IT 架构中的标准实践。 它也是推动云计算经济的技术。 虚拟化使云提供商能够为用户提供现有的物理计算机硬件；它使云用户能够仅在需要时购买所需的计算资源，并随着工作负载的增长而经济有效地扩展这些资源。

名词介绍

HOST 对应物理主机，宿主机

Guest 虚拟化客户机

VMM/Hypervisor 虚拟化资源监控层

特点

1、分区：

分区意味着虚拟化层为多个虚拟机划分服务器资源的能力；每个虚拟机可以同时运行一个独立的操作系统（相同或者不同的操作系统），使您能在一台服务器上面运行多个应用程序；每个操作系统只能看到虚拟化层为其提供的“虚拟硬件”（虚拟网卡、CPU、内存等），以使它认为运行在自己专用服务器上。

2、隔离：

虚拟机是相互隔离的。
一个虚拟机的奔溃或者故障，（比如说操作系统故障、应用程序崩溃或者驱动程序故障等等），不会影响到同一个服务器上面的其他虚拟机；
一个虚拟机中的病毒、蠕虫等与其他虚拟机相互隔离，就像每个虚拟机都位于单独的物理机器上一样。
可以进行资源控制以提供性能隔离：你可以为每个虚拟机指定最小和最大资源使用量，以确保某个虚拟机不会占用所有的资源而使得同一系统中的其它虚拟机无资源可用
可以在单一机器上面同时运行多个负载、应用程序、操作系统，而不会出现应用程序的冲突。

3、封装：

封装意味着将整个虚拟机（硬件配置、BIOS配置、内存状态、磁盘状态、CPU状态）存储再独立于物理硬件的一小组文件中。这样，您只需要复制几个文件就可以随时随地根据需要复制、保存和移动虚拟机。

4、相对于硬件独立（解耦）：

因为虚拟机运行于虚拟化层之上，所以只能看到虚拟机化层提供的虚拟硬件；此虚拟硬件也同样不必考虑物理服务器的情况；这样，虚拟机就可以在任何的X86服务器（IBM/DELL/HP等）上面运行无需进行任何修改，这样就打破了操作系统和硬件以及应用程序和操作系统、硬件之间的约束。

优势

资源利用率、独立性、程序运行效率、安全性

虚拟化分类

1. 虚拟化按照架构进行分类

   1. 寄居虚拟机：完全虚拟化环境，运行在虚拟化环境的计算机认为系统完全运行在真实的物理环境。开销大，占用率高，常见为个人环境VMware WorkStation。

      

   2. 裸金属虚拟化：利用硬件性能实现虚拟化，虚拟机的操作系统在下发指令时进行有分类的捕获，敏感指令交由CPU ring 0直接处理，提高效率。常见为（精简的内核操作系统【VMM、Hypervisor】），安装管理调度VM（FusionCompute、XenServer，Esxi,Hyper-V server)

      

   3. 操作系统虚拟化：容器技术，依赖进程，使用宿主主机用户空间.

      容器与虚拟化区别：

      • 容器属于轻量级操作系统，占用线程创建更快，对平台无要求，运行在Linux的内核空间。

      • 虚拟机具备完整的操作系统，每个VCPU占用的物理机的CPU核数的线程，每个线程可超分。占用资源相对容器多，容器缺点为隔离性差，多个容器共用统一套系统。

      • Linux补充知识：

        内核空间：不同版本内核一致用户空间不同，内核空间负责硬件命令，敏感指令，用户空间负责命令。Linux分为两大类Debian和Redhat系列。

        

   4. 混合虚拟化：混合虚拟化架构将一个内核级驱动器插入到宿主操作系统内核。这个驱动器作为虚拟硬件管理器来协调虚拟机和宿主操作系统之间的硬件访问。常见为KVM。

      

2. 主流的虚拟化技术
   开源技术：

Xen：安全性高、华为6.1版本之前使用，虚拟化层和Domain 0（负责虚拟机调度）

KVM（2006）：内核虚拟化、性能高

私有技术：

Hyper-V：微软虚拟化技术

Esxi ： VMware

UVP ：华为虚拟化层

华为虚拟化解决方案

1. 产品分类：

Fusion Compute【必选】：包含VRM、CNA。

Fusion Manage【可选】：统一管理，管理多个FC，支持异构管理,软硬件管理

eBackup【可选】:虚拟机备份软件

ultraVR【可选】：虚拟化容灾

1. 计算虚拟化：

计算资源添加：创建集群-集群添加主机

分类：

按照虚拟化对象分类：

• cpu：硬件辅助虚拟化，Intel VT-X/AMD-V
• 内存:影子页表、Intel EPT、AMD NPT/RVI
• IO ：VirtIO

按照虚拟化过程分类：

• 全虚拟化：虚拟机完全认为自己真实存在，再处理内核命令ring0-3时，处理敏感指令集报异常，虚拟化层捕获，交给底层硬件。
• 半虚拟化：虚拟机知道自己为虚拟机（安装TOOLS），用户空间命令直接执行。内核命令调用时交给虚拟化层
• 硬件辅助虚拟化：CPU直接处理内核命令

CPU虚拟化：

VCPU数量=CPU数量核数超线程*超分比

  2颗CPU*10核*2*3=120VCPU
  CPU属于可压缩资源，处理任务时进行队列排队，默认超分比为1:3
  CPU占用百分比过的是容易造成网络故障（IO排队）
  以RH2288H V3服务器使用2.6GHz主频CPU为例，单台服务器有2个物理CPU，每颗CPU有8核，又因为超线程技术可以提供每个物理内核两个处理线程，因此每颗CPU有16线程，总vCPU数量为2*8*2=32个vCPU。总资源为32*2.6GHz=83.2GHz。
  虚拟机vCPU数量不能超过单台CNA节点可用vCPU数量。多个虚拟机间可以复用同一个物理CPU，因此单CNA节点上运行的虚拟机vCPU数量总和可以超过实际vCPU数量。

功能：

CPU超分：CPU的线程数对应VCPU

CPU虚拟化技术难点：

• 如何模拟CPU指令 (所有敏感指令)

​ 敏感指令：可以读写系统关键资源的指令叫做敏感指令。
​ 特权指令：决大多数的敏感指令是特权指令，特权指令只能在处理器的最高特权级 (内核态)执行。

• 如何让多个VM共享CPU

  利用与Native操作系统类似的机制—通过定时器中断，在中断触发时陷入VMM，从而根据调度机制进行调度。

  CPU的QOS

  

在集群中，一颗2.8GHZ的虚拟机的CPU的QOS可以按照份额，预留，限制进行分配，计算方式按照上表，份额即按照比例进行分配，预留则为虚拟机1划分固定的主频，其余虚拟机按照比例进行分配，限制则规定上限。

内存虚拟化：

Native操作系统对内存的认识与管理达成以下两点认识：

内存都是从物理地址0开始的

内存都是连续的

内存虚拟化需要解决两个的问题：

从物理地址0开始的：物理地址0只有一个，无法同时满足所有客户机从0开始的要求；

地址连续：虽然可以分配连续的物理地址，但是内存使用效率不高，缺乏灵活性

内存虚拟化：把物理机的真实物理内存统一管理，包装成多个虚拟机的内存给若干虚拟机使用。KVM 通过内存虚拟化共享物理系统内存，动态分配给虚拟机。

KVM中，虚机的物理内存即为qemu-kvm进程所占用的内存空间。KVM使用CPU 辅助的内存虚拟化方式。在Intel平台，其内存虚拟化的实现方式为EPT (Extended Page Tables)技术。

H：Host	G：Guest	V：virtual	P：Physical	A：Address

由于宿主机MMU不能直接装载客户机的页表来进行内存访问，所以当客户机访问宿主机物理内存时，需要经过多次地址转换。也即首先根据客户机页表把客户机虚拟地址 (GVA)转换成客户机物理地址 (GPA)，然后再通过客户机物理地址 (GPA)到宿主机虚拟地址 (HVA)之间的映射转换成宿主机虚拟地址，最后再根据宿主机页表把宿主机虚拟地址 (HVA)转换成宿主机物理地址 (HPA)。而通过影子页表，则可以实现客户机虚拟地址到宿主机物理地址的直接转换。Intel的CPU提供了EPT (Extended Page Tables，扩展页表)技术，直接在硬件上支持GVA->GPA->HPA的地址转换，从而降低内存虚拟化实现的复杂度，也进一步提升内存虚拟化性能。

内存复用技术：

内存QOS：

配置方式同cpu规则，份额，预留，限制。

IO虚拟化：

• I/O虚拟化需要解决两个问题
  • 设备发现:
    • 需要控制各虚拟机能够访问的设备；
  • 访问截获:
    • 通过I/O端口或者MMIO对设备的访问；
    • 设备通过DMA与内存进行数据交换；
• I/O虚拟化可以被看作是位于服务器组件的系统和各种可用I/O处理单元之间的硬件中间件层，使得多个guest可以复用有限的外设资源。
• 设备虚拟化(I/O虚拟化)的过程，就是模拟设备的这些寄存器和内存，截获Guest OS对IO端口和寄存器的访问，通过软件的方式来模拟设备行为。
• 在QEMU/KVM中，客户机可以使用的设备大致可分为三类：
  • 模拟设备：完全由 QEMU 纯软件模拟的设备
  • Virtio 设备：实现 VIRTIO API 的半虚拟化设备
  • PCI 设备直接分配 (PCI device assignment)

基于NUMA架构的亲和性调度：

系统会根据虚拟机配置、NUMA高级参数以及物理主机NUMA配置自动计算虚拟机NUMA拓扑结构并设置虚拟机NUMA与物理NUMA亲和性，使虚拟机内存访问性能达到最优。

早期技术为SMP对称式多处理器技术，开启方式：在“集群资源控制”中开启“NUMA”，CPU和内存划分为Node节点，CPU优先使用同一Node上内存

，降低总线数据量。适用于Oracle和SQL数据库。

HA：

开启方式：创建集群、集群控制；

Windows蓝屏处理方式：不处理、重启虚拟机、HA虚拟机、关闭虚拟机

迁移：

分类：计划性迁移，DRS、DPM，还可划分为冷迁移和热迁移，集群内迁移，集群外迁移，P2V，V2V等，在迁移方案中详细说明。

规则组：

聚集虚拟机：相同业务功能或需要大量信息交互的虚拟机分配到统一的物理主机

互斥虚拟机：不能同时宕机的虚拟机，主备节点的虚拟机

虚拟机到主机：将虚拟机绑定到物理主机上，不允许迁移，如VRM，绑定KEY的财务虚拟机等。

IMC： Intel使不同CPU类型的主机之间进行迁移，集群下主机CPU功能集必须等于或高于设置目标基准功能集，集群下运行或休眠的VM必须等于或低于目标基准功能集。

存储虚拟化：

FusionCompute存储：

1、支持存储类型：
	集中式存储：
		SAN--IPSAN
		NAS
	分布式存储：
		FusionStorage Block存储池
	本地硬盘
2、FusionCompute存储的概念
		存储资源--物理存储设备（IP-SAN,FCSAN,NAS,FusionStorage）
		存储设备--物理存储设备上划分逻辑管理单元（IP-SAN、FC-SAN的LUN，NAS的共享文件夹，FusionStorage-存储池）
		数据存储--虚拟机可以使用的类型，数据存储和存储设备是一对一的关系。

存储分类：

块存储和文件存储是我们比较熟悉的两种主流的存储类型，而对象存储（Object-based Storage）是一种新的网络存储架构，基于对象存储技术的设备就是对象存储设备（Object-based Storage Device）简称OSD。 这两种传统的存储类型。通常来讲，所有磁盘阵列都是基于Block块的模式，而所有的NAS产品都是文件级存储。

1. 文件存储：包含文件系统的存储，NAS、FTP服务器，客户端直接挂载即可使用， NAS（Network Attached Storage）：是一套网络储存设备，通常是直接连在网络上并提供资料存取服务，一套 NAS 储存设备就如同一个提供数据文件服务的系统，特点是性价比高。例如教育、政府、企业等数据存储应用。Windows使用CIFS协议，Linux使用NFS协议。

2. 块存储：

   1） DAS（Direct Attach Storage）：是直接连接于主机服务器的一种储存方式，每一台主机服务器有独立的储存设备，每台主机服务器的储存设备无法互通，需要跨主机存取资料时，必须经过相对复杂的设定，若主机服务器分属不同的操作系统，要存取彼此的资料，更是复杂，有些系统甚至不能存取。通常用在单一网络环境下且数据交换量不大，性能要求不高的环境下，可以说是一种应用较为早的技术实现。

   ​ 2）SAN（Storage Area Network）：是一种用高速光纤网络联接专业主机服务器的一种储存方式，此系统会位于主机群的后端，它使用高速I/O 联结方式， 如 SCSI, ESCON及 Fibre- Channels。一般而言，SAN应用在对网络速度要求高、对数据的可靠性和安全性要求高、对数据共享的性能要求高的应用环境中，特点是代价高，性能好。例如电信、银行的大数据量关键应用。它采用SCSI 块I/O的命令集，通过在磁盘或FC（Fiber Channel）级的数据访问提供高性能的随机I/O和数据吞吐率，它具有高带宽、低延迟的优势，在高性能计算中占有一席之地，但是由于SAN系统的价格较高，且可扩展性较差，已不能满足成千上万个CPU规模的系统。

3. 对象存储：总体上来讲，对象存储同兼具SAN高速直接访问磁盘特点及NAS的分布式共享特点。

   ​ 核心是将数据通路（数据读或写）和控制通路（元数据）分离，并且基于对象存储设备（Object-based Storage Device，OSD）构建存储系统，每个对象存储设备具有一定的智能，能够自动管理其上的数据分布。
   ​ 对象存储结构组成部分（对象、对象存储设备、元数据服务器、对象存储系统的客户端）

   华为虚拟化存储架构：

   1. 存储资源：

      • 集中式存储:SAN存储、NAS存储
      • 分布式存储：FusionStorage，副本机制，数据容错，X86服务器的HDD、SDD等介质通过SCSI和iScsi接口

   2. 存储设备：

      NAS--共享文件夹、物理存储设备所划分的逻辑单元,SAN--LUN、FusionStorage--存储池、服务器本地磁盘

   3. 数据存储：在创建时，数据存储与存储设备一对一的映射，一个存储设备只能创建一个数据存储。功能：存放快照，链接克隆，NAS设备在桌面云中无法创建链接克隆虚拟机，因为链接克隆虚拟机只能使用精简磁盘。

      

      虚拟机磁盘的使用方式：

      1. 虚拟化存储：将SAN存储的LUN挂载给虚拟机，并进行格式化操作，虚拟机磁盘以文件形式进行保存，性能较差但支持虚拟化高级特性，虚拟机磁盘对应的是文件，文件系统为NAS设备时不需要格式化、为SAN设备、本地磁盘情况需要格式化为VIMS文件系统。虚拟化存储支持虚拟化高级特性，快照、热迁移、扩容、精简配置等
      2. 非虚拟化存储：将SAN存储的LUN直接挂载给CNA主机，虚拟机磁盘以卷形式进行保存，性能居中，除FusionStorage其他不支持部分高级特性。虚拟机磁盘对应的是卷，除FusionStorage、Advance SAN、本地内存盘外其余不能使用存储高级性能，FusionStorage必须是非虚拟化存储。
      3. 裸设备映射：将SAN存储的LUN直接作为物理磁盘分配给虚拟机使用，性能高但不支持高级特性，支持SCSI接口。

      虚拟机磁盘

      虚拟机磁盘类型：

      • 普通：只能供创建的虚拟机使用；
      • 共享：可以绑定给多个虚拟机，采用裸设备映射时，适用于需要高性能存储的应用，比如Oracle RAC

      学习地址：Dpdk/网络协议栈/vpp/OvS/DDos/NFV/虚拟化/高性能专家（免费订阅，永久学习）

      【文章福利】需要更多DPDK/SPDK学习资料加群793599096（资料包括C/C++，Linux，golang技术，内核，Nginx，ZeroMQ，MySQL，Redis，fastdfs，MongoDB，ZK，CDN，P2P，K8S，Docker，TCP/IP，协程，DPDK，大厂面试题 等）可以自行添加学习交流群点击这里噢~

      

   4. 配置模式：

      • 普通模式：清Bit操作，写入0，容量与实际使用空间一致
      • 精简模式：创建速度最快，精简磁盘创建时含少量元数据信息，大小一般为几十K，创建时间均非常短。随着用户写入数据，精简磁盘的大小与实际占用空间将逐步增加。
      • 普通延迟置零：容量与实际使用空间一致，创建快，使用时执行清BIt
      • 差分磁盘必须基于一个已有的父磁盘来创建，它只记录相对于父磁盘的差异数据，包括数据的增改，差分磁盘不能脱离父磁盘而存在，如果父磁盘进行了修改，则差分磁盘的数据将不再可用。该磁盘用于FusionSphere系统中的快照、非持久化磁盘、链接克隆等功能，起到保护源盘不再被修改，并可以跟踪虚拟机磁盘差异数据的作用。

      删除：

      • 普通删除：删除逻辑分区
      • 安全删除：写入数据0，难恢复
      • 删除可以配置延迟删除，避免业务高峰期操作

      磁盘模式：

      • 从属磁盘：快照包含该磁盘，更改将立即永久写入磁盘，快照恢复时，数据被消除。应用于操作系统盘。
      • 独立-持久：持久化磁盘即数据可以永久保存。在创建独立持久磁盘时，快照中不包含该磁盘，更改将立即并永久写入磁盘，回滚快照不会导致数据回滚。类似于U盘，应用于个人独有数据存放。
      • 独立-非持久：非持久化磁盘即数据不永久保存。处于保护磁盘数据的目的，在启动虚拟机时，对这种非持久化磁盘先创建差分磁盘，在虚拟机运行过程中，将有更改的数据全部写入差分磁盘，在虚拟机关机后，将差分磁盘数据删除，达到还原磁盘的目的。应用于公共计算机、计算机数据自动还原的场景。

      

      在FusionCompute中创建步骤：

      1. 添加存储接口

      2. 添加存储资源

      3. 扫描存储设备

      4. 数据存储

         		实验步骤：
         		1、准备存储资源（存储管理员）
         			NFS Server模拟存储资源
         			使用ubantu
         			sudo apt install nfs-kernel-server -y
         			sudo apt install vim -y
         			mkdir nfs
         			chmod 777 nfs/
         			#创建共享文件夹
         			sudo vim /etc/exports  /home/huawei/nfs 	*	（rw,sync）
         			sudo systemctl restart nfs-kernel-server.server
         			sudo systemctl enable nfs-kernel-server
         			showmount -e
         		2、添加存储接口（可选，存储平面和管理平面是否隔离）
         			IP-SAN、NAS、FusionStorage需要添加存储接口
         			管理网络和存储网络不能互通
         		3、添加存储资源
         		4、管理主机
         		5、扫描存储设备
         		6、添加数据存储
         			IP-SAN存储--格式化VIMS
         			NAS存储--不需要格式化，本身具有文件系统
         

网络虚拟化：

FusionCompute网络虚拟化
Linux网桥brige 是工作于二层的虚拟网络设备，功能类似于物理网卡。
OVS ：Open V Switch 基于软件实现的开源虚拟以太网交换机。 支持多种标准的管理接口和协议，还可以支持多个物理服务器分布式环境。
对Open Flow协议支持，并且能够于总舵开源的虚拟化平台相整合。
主要功能：传递虚拟机VM之间的流量以及实现VM和外界网络的通信。
虚拟交换机
1、标准虚拟交换机---只连接一台物理交换机
2、分布式虚拟交换机：
DVS:分布式交换机的功能类似于普通的物理交换机，每台主机都连接到分布式交换机分布式交换机的功能类似于普通的物理交换机，每台主机都连接到分布式交换机中。
分布式交换机的一端是与虚拟机相连的虚拟端口，另一端是与虚拟机所在主机上的物理以太网适配器相连的上行链路。通过它可以连接主机和虚拟机，实现系统网络互通。
另外，分布式交换机在所有关联主机之间作为单个虚拟交换机使用。此功能可使虚拟机在跨主机进行迁移时确保其网络配置保持一致。
EVS:基于vhost-user技术，vhost在用户态直接和EVS交互，通过地址偏移获取DPDK大页地址，性能提升30%-40%。
条件：1、网卡支持（Intel i350 82599 melanox）
2、DPDK大页内存
3、I/O性能
虚拟网络：
虚拟网卡-->端口组-->DVS-->上行链路（DVS与物理网卡进行绑定）
虚拟交换模式：
1、SR-IOV直通模式：（物理网卡限制）硬件网卡虚拟为多个物理网卡
2、用户态模式：EVS
3、普通模式：平常网卡选择
网络安全策略：
二层网络安全策略：IP和MAC地址绑定，DHCP服务隔离；广播报文抑制，安全组，QOS、网口绑定

虚拟交换模型 

虚拟化管理员可通过定义端口组 属性（安全/QoS）简化对虚拟机端口属性的设置；设置端口组属性，不影响虚拟机正常工作；

端口组：端口组是网络属性相同的一组端口的属性集合。管理员可以通过配置端口组属性（带宽QOS、2层安全属性、VLAN等）简化对虚拟机端口属性的设置。设置端口组属性，不影响虚拟机正常工作；

上行链路：分布式交换机关联的服务器物理网口；管理员可以查询上行链路的名称、速率、模式、状态等信息；

上行链路聚合：分布式交换机关联的服务器绑定网口，绑定网口可以包含多个物理网口，这些物理网口可以配置主备或负载均衡策略。

FusionCompute中的虚拟机通信

1. 创建分布式交换机：

   交换机分为：

   • 普通模式
   • SR-IOV直通模式：（需要特殊的物理网卡）硬件网卡虚拟为多个物理网卡，虚拟机直接连接物理网卡。
   • 用户态模式：EVS，DPDK

2. 创建上行链路：

   1. 一个物理网卡只能邦迪一个上行链路
   2. 一个聚合端口只能绑定一个分布式交换机
   3. 一个分布式交换机可以添加多个逻辑端口

3. 创建VLAN池：

4. 创建端口组：

   • 端口类型：普通端口、中继端口

• 同VLAN，不同DVS，相同主机的虚拟机通信不通过SW
• 不同VLAN，同DVS，相同主机的虚拟机通信通过SW
• 不同VLAN，不同DVS，不同主机的虚拟机通信通过SW

华为虚拟化平台安装部署：

提前规划网络平面，根据主机网口数量进行规划。当主机四个网口时，采用主备模式，交换机无需配置，管理、业务、存储都可以通过逻辑端口进行数据交互。理想的状态为8个端口（2个网口做业务、2个网口做管理、2个端口HBA/FC存储、2个BMC端口）

CNA部署：

网络规划（VLAN）：

BMC平面、管理平面、业务平面、存储平面

管理平面为CNA和VRM所在的网络平面，规划为VLAN500，IP地址为10.20.0.0/24，网关为10.0.20.1

业务平面为业务虚拟机所在平面，实验中与管理平面共用同一端口，实际环境则为不同逻辑端口，可以在webUI界面中网络管理进行配置，不在操作系统按照界面设置。本次实验中设置为VLAN501-506.

端口规划：

6块网卡：2块管理、2块业务、2块存储

4块网卡：2块网卡管理和业务，2块网卡存储

华为云的网络平面：
\1. Internal_base，内部平面。

①是FusionSphere Openstack中的组件之间进行通信的网络平面，如nova-api与cinder-api之间通信；

②为了网络安全性，是二层网络平面，是无网关的；

③默认网段是172.28.0.0/20；

④是服务器用FCD的时候通过PXE进行安装操作系统的网络平面；PXE可以批量对服务器进行安装操作系统，安装时配置是untag模式的。

⑤flat网络类型（无vlan）

\2. External_API，与外部网络相连接（通信）的网络平面，用户通过这个网络平面下发指令。通过外部portal去管理内部组件的时候网络流量走的都是External_API这个网络平面，也就是说通过外部接入内部走的都是External_API(管理员的访问，API的调用) （在交换机上配置Trunk并且允许该VLAN通过，走三层） 是OpenStack的正向代理、反向代理。

\3. External_base，（华为不推荐）为rabbitMQ而设计的网络平面，负责组件的内部通信的网络平面（子组件通信）（如Nova内部各组件之间通信），External_base可以被External_OM代替（在交换机上配置Trunk并且允许该VLAN通过，走三层）

glance、swift无MQ也就无这个平面，其它组件都有。

\4. External_OM，是一种资源接入平面，主要负责对接底层差异化资源（KVM、VMware、FC、Hyper-V）。管理地址。

就是说FusionSphere Openstack与Fusion Compute对接，即Nova_Compute与VRM对接，流量走External_OM；还有对计算实例VNC登录的时候走的也是External_OM。

\5. 管理平面，主要负责VRM与CNA通信，FSM和FSA通信。（VRM和FSM是控制、管理）

\6. 存储平面，当你对接的资源为KVM的时候才会有存储网络平面。

Storage_data分为0 1 2 3 4…分别是对接的不同的后端存储，用多少取决于需求，对接IP SAN一般成对出现0或1，对接FS一般只用一个。

\7. 业务平面，虚拟机与虚拟机之间的通信，租户使用虚拟机的时候这个业务数据都跑在这个业务平面 （配置成Trunk并且要配好VLAN池）

\8. BMC平面（BMC_Base），是BMC模块存在的网络平面。

①BMC是负责对服务器（硬件）进行运维和管理的（上下电、对服务器VNC远程登录、对服务器进行硬件巡检等）。

②BMC是一个模块放在服务器的主板上，是主板上的一个操作系统（本质上是一个可以直接控制服务器硬件的软件），无论什么操作系统都不影响BMC的存在，可以通过Web界面去访问BMC，对它进行操作。

③BMC平面是主机BMC网口使用的平面，专门跑一个网络。（VRM节点的管理平面和BMC平面互通就可以了）

④使用的IPMI协议。

CNA安装：

安装方式分为手工安装、批量部署。

采用手工安装注意点：

1. 网络配置：Manual address configuration with VLAN 。

   10.20.0.108/255.255.255.0
   VLAN500
   GW10.20.0.1
   

   因为CNA节点上的主机网口作为DVS的上行链路接口，配置VLAN信息，数据包封装tag，和物理交换机的VLAN ID一致。

VRM安装：

虚拟化部署：物理服务器小于50台，虚拟机小于1000台。

虚拟化部署必须要使用安装工具部署：

虚拟化部署
	物理服务器数量小于50，虚拟机小于1000台
	必须使用安装工具部署
		1、自动创建集群-自动添加主机-并将VRM虚拟机加入集群
		2、自动创建OVS分布式交换机、端口组、创建上行链路、创建数据存储
		3、部署模式
			主备部署
				VRM互斥虚拟机、不能部署在同一物理服务器
					VRM不能漂移，VRM与物理服务器绑定
			单节点部署
		4、按规模配置
			50PM、1000VM
			VRM虚拟机IP地址：10.20.0.127；10.20.0.128
浮动IP地址：10.20.0.120
子网网关：10.20.0.1
仲裁服务器：10.20.0.1
VLANID：500
		5、选择主机
			配置主机01
				管理IP
					CNAIP地址：10.20.0.108
					PS：Huawei12#$
		6、配置VRM存储空间
		7、权限管理模式
			系统管理员
				创建、删除、账号，不能分配角色
			安全管理员
				对用户角色授权，解除锁定
			系统审计员
				仅日子查看和日志导出权限
物理服务器部署
	使用ISO光盘
	手工配置主备
		系统管理-系统配置-服务和管理节点
VRM不能漂移，VRM与物理服务器绑定

工具下载地址以及相关产品文档：

华为企业产品技术支持网站 - 华为

转自：https://www.cnblogs.com/shanheoldman/p/16371178.html