VMware虚拟化——基于VCSA6.7搭建生产可用小型服务器集群(非共享存储方式)

项目背景:

使用VMware做高可用集群的前提是服务器连接共享存储(当然VMware高level许可证以及网络都要保证),这种方式可以开启VM最惊艳的高可用功能:HA、DRS、FT,VM直接在PAAS层提供高可用,无需应用虚拟机配置。但也有一些特殊场景,不需要用HA、DRS、FT,服务器不连接共享存储,该业务仅是借助了VMware虚拟化技术,将多台独立带存储的物理机虚拟化后用VCSA6.7统一管理,这种业务中的虚拟机里跑的应用自带主备配置,分别在主ESXi开启主虚拟机,在备ESXi开启备虚拟机,在应用里面配置好master-slave,通过应用层实现的“应用层高可用”,物理层网络和物理服务器互相独立。

架构图如下:

非共享存储服务器集群虚拟化后的大致架构图

 

1、服务器物理位置

机框1放置主服务器,机框2放置备服务器,两台构成主备虚拟化物理华三交换机可放置与机框1底下,或者放置到旁边位置(位置放太远不方便服务器网线连接交换机),参考第二点图:

2、物理链路连接

拓扑图
拓扑图

 

(1)以机框1的物理服务器1为例,服务器一般配置4个物理网卡,eth0、eth1为业务网口,eth2作为管理ESXi网络网口,将eth0连至主交换机端口,将eth1连至备交换机端口,服务器1与上联接入层两台交换机构成链路冗余,也即两台交换机其中一台停机,或者服务器两个网口其中一个网口配置出错等,业务口都可冗余物理连接。

(2)eth2作为ESXi的管理口,连接至主接入层交互机,管理口冗余,避免过多占用网口和交互机端口(例如以华三某较为高端二层48端口,减去主备虚拟化IRF2个端口+上联连至核心交互机1个端口,还剩45个端口,若一台物理服务器使用两个管理口,再加两个业务口,可提供11台服务器连接(一个机框可放置服务器的数量也就是12台这样),若服务器仅用三个网口,可连15台服务器),按实际工作上配置的三个网口,两台48端口接入层交换机,可连接三个机框的服务器,数量大致为30台高度为2个U的服务器。

(3)接入层主交换机上联连至上联主核心交换机trunk端口,接入备交换机上联连至上联备核心交换机trunk端口,并配置两个trunk端口为聚合端口,实现接入层与核心层交换机构成冗余连接

(4)所有的物理连接都统一采用千兆电口,六类网线连接

 

3、交换机IRF配置(又称堆叠,交换机虚拟化)

服务器上联交换机(业务接入层交换机)做了虚拟化后,相当于主备模式,当将主业务端口绑定到对应备交换机端口,那么交换机侧不仅实现主备模式,还实现负载均衡,流量叠加(跨交换机链路聚合),实现下联服务器集群在二层物理连接的高可用,生产已使用。此外,通过将业务接入层交换机接入到上联的核心交换机,实现连接更多的物理服务器

以两台华三某系列交换机为例,配置前提条件:支持irf,相同型号交换机,相同os版本

主备交换机物理链路连接

这里以23、24为千兆光口为连接说明,使用多模纤850交叉连接

配置过程:

 # 设置主交换机成员号1
(1)irf member 1 renumber 1 

 # 设置本交换机优先级,值大优先级越高,越有可能成为master
 (2) irf member 1 priority 20
 (3) shutdown需要irf的物理端口23/24口

 #创建虚拟化逻辑端口 1/1表示 member=1/portID=1 并把23和24口加入(绑定)该逻辑端口
 (4) irf-port 1/1
    port group interface 23
    port group interface 24
“”“
这里需要注意:主sw使用irf-port 1/1,那么在备sw必须使用irf-port 2/2,也即portID必须互为不     同,否则irf报错,提示portID冲突,无法建立irf环境,
主sw的irf-port 1/1对应备sw的irf-port 2/2 
或主sw的irf-port 1/2 对应备sw的irf-port 2/1,
不能Irf-port 1/1 搭配Irf-port 2/1 或者Irf-port 1/2 搭配Irf-port 2/2
”“”
 (5)开启irf的23、24物理端口,并save保存配置

 #激活irf配置,并重启
 (6) irf-port-configuration active 

# 备sw的配置过程同上,不同的地方
 (1) 成员号配置为2,备sw交换机的端口前缀从默认的1/0/~变为2/0/~(若有第三台,配置为3,端口前缀变为3/0/~,这个成员号配置是sw堆叠后,方便区别端口是属于哪台sw)
 (2) sw的优先级配为10,比主sw的低
 (2) 因主sw的逻辑端口配为irf-port 1/1,故备sw需配置为irf-port 2/2

# 最后优化irf配置
 undo irf mac-address persistent
 irf auto-update enable
 undo irf link-delay

查看irf状态 dis irf
MemberID    Role    Priority  CPU-Mac         Description
 *+1        Master  20        00f0-a31p-6t02  ---
   2        Standby 10        00f0-a31p-6t03  ---

查看irf端口状态
Member 1
 IRF Port  Interface                             Status
 1         GigabitEthernet1/0/23                 UP    
           GigabitEthernet1/0/24                 UP    
 2         disable                               --    
Member 2
 IRF Port  Interface                             Status
 1         disable                               --    
 2         GigabitEthernet2/0/23                 UP    
           GigabitEthernet2/0/24                 UP  

4、每台物理服务器存储配置

       生产数据安全需优先,对每台物理服务器存储(SAS硬盘)配置RAID1,牺牲了一部分读写速度,这里RAID1的配置有个注意的地方,如果server提供的是非多媒体图片、视频等业务,读写都是“小块数据类”,那么RAID1 initial化stride设为最小256kb,若server提供的为图片、视频等业务,读写都是“大块数据类”,那么RAID1 initial化stride设为最大1024kb,以优化RAID的读写速度。

5、业务网段和管理网段分开

       在第二部分的物理链路拓扑图可以看到,数据链路和管理链路是分开的物理连接,实际使用场景中,一般会规划两个不同的网段使用,例如业务数据网段182.21.0.0/16,这个网段都是给vm虚拟机使用,网段大小可以自行根据vm数量规划,这里的掩码为16位,可以提供(2^{16}-2)个VM使用,当然实际场景,很多企业不可能达到这么大的主机数,掩码可以设/24;另外一网段则用于ESXI主机管理口,例如182.22.10.0/24。一般企业来说,ESXI主机数量不会太多,可以设一个掩码8位的小网段,可以提供254个ESXI服务器使用。

 

发布了52 篇原创文章 · 获赞 11 · 访问量 1万+

猜你喜欢

转载自blog.csdn.net/pysense/article/details/95525357
今日推荐