文章目录
简介
群集(或集群)的称呼来自于英文单词"Cluwster",表示一群、一串的意思,用在服务器领域则表示大量服务器的集合体,以区分于单个服务器。根据企业实际环境的不同,群集所提供的功能也各不相同,采用的技术细节也可能各有千秋。这里,我们将对群集的结构、工作模式、LVS虚拟应用、以及NFS共享存储做一个简单的介绍。
1.负载均衡群集的原理
1.1 企业群集应用概述
群集的含义
- Cluster,集群、群集
- 由多台主机构成,但对外只表现为一个整体
问题
- 互联网应用中,随着站点对硬件性能、响应速度、服务稳定性、数据可靠性等要求越来越高,单台服务器力不从心
解决方法
- 使用价格昂贵的小型机、大型机
- 使用普通服务器构建服务群集
补充介绍:
- 阿里云中的SLB是典型的负载均衡调度器,ECS是云主机(虚拟机);
- SLB调度ECS,多个ECS组成资源池,构成云计算的基础。
1.2 企业群集分类
-
无论是哪种群集,都至少包括两台节点服务器
-
按照集群所针对的目标差异分类
负载均衡群集
高可用群集
高性能运算群集
1.2.1 负载均衡群集(Load Balance Cluster)
- 提高应用系统的响应能力、尽可能处理更多的访问请求、减少延迟为目标,获得高并发、高负载(LB)的整体性能。例如,DNS轮询、应用层交换、反向代理等都可以作负载均衡群集。
- LB的负载分配依赖于主节点的分流算法,将来自客户机的访问请求分担给多个服务器节点,从而缓解整个系统的负载压力。
1.2.2 高可用群集(High Availability Cluster)
- 提高应用系统的可靠性、尽可能地减少中断时间为目标,确保服务的连续性,达到高可用(HA)的容错效果。例如,故障切换、双机热备、多机热备等都属于高可用群集技术;
- HA的工作方式包括双工和主从两种模式,双工是同时工作的意思; 主从则只有主节点在线,但当出现故障时,从节点能自动切换为主节点。
1.2.3 高性能运算群集(High Performance Computer Cluster)
-
提高应用系统的CPU运算速度、扩展硬件资源和分析能力为目标,获得相当于大型、超级计算机的高性能运算(HPC)能力。例如,云计算、网格计算也可视为高性能运算的一种;
-
高性能依赖于“分布式运算”、“并行计算”,通过专用硬件和软件将多个服务器的CPU、内存等资源整合在一起,实现只有大型、超级计算机才具备的计算能力。
1.3 负载均衡的分层结构
1.3.1 概述
- 在典型的负载均衡群集中,包括三个层次的组件。前端至少有一个负载调度器负载响应并分发来自客户机的访问请求;后端由大量真实服务器构成服务器池,提供实际的应用服务,整个群集的伸缩性通过增加、删除服务器节点来完成,而这些过程对客户机是透明的;为了保持服务的一致性,所有节点使用共享存储设备。
1.3.2 负载均衡的架构
- 第一层,负载调度器(Load Balancer或Director)
- 第二层,服务器池(Server Pool)
- 第三层,共享存储(Share Storage)
1.3.3 负载均衡的架构的详解介绍
- 负载调度器:这是访问整个群集系统的唯一入口,对外使用所有服务器共有的VIP(虚拟IP)地址,也称为群集IP地址。通常会配置主、备两台调度器实现热备份,当主调度器失效以后平滑替换至备用调度器,确保高可用性;
- 服务器池:群集提供应用服务,由服务器池承担,其中的每个节点具有独立的RIP(真实IP)地址,只处理调度器分发过来的客户机请求;当某个节点失效时,负载调度器的容错机制会将其隔离,等待错误排除以后再重新纳入服务器池;
- 共享存储:为服务器池中的所有节点提供稳定、一致的文件存取服务,确保整个群集的统一性。
1.4 负载均衡的工作模式
- 关于群集的负载调度技术,可以基于IP、端口、内容等进行分发,其中基于IP的负载调度效率是最高的。基于IP的负载均衡模式中,常见的有地址转换、IP隧道和直接路由三种工作模式。
1.4.1 地址转换(Network Address Translation)
- 简称NAT模式,类似于防火墙的私有网络结构,负载调度器作为所有服务器节点的网关,即作为客户机的访问入口,也是各节点回应客户机的访问出口;
- 服务器节点使用私有IP地址,与负载调度器位于同一个物理网络,安全性要优于其他两种方式。
1.4.2 IP隧道(IP Tunnel)
- 简称TUN模式,采用开放式的网络结构,负载调度器仅作为客户机的访问入口,各节点通过各自的 Internet连接直接回应客户机,而不再经过负载调度器;
- 服务器节点分散在互联网中的不同位置,具有独立的公网IP地址,通过专用IP隧道与负载调度器相互通信。
1.4.3 直接路由(Direct Routing)
- 简称DR模式,采用半开放式的网络结构,与TUN模式的结构类似,但各节点并不是分散在各地,而是与调度器位于同一个物理网络;
- 负载调度器与各节点服务器通过本地网络连接,不需要建立专用的IP隧道。
DR与TUN模式的区别: - 相同点:都是各web 节点直接响应客户机;
- 不同的:TUN模式有独立公测,而DR没有;TUN各web节点和调度器IP隧道通讯,而DR各web节点和局域网通讯;TUN模式web节点直接响应,DR模式web节点需要通过路由器响应。
1.5 三种工作模式的区别
工作模式区别 | NAT模式 | TUN模式 | DR模式 |
---|---|---|---|
Real server(节点服务器) | |||
Server number(节点数量) | Low 10-20 | High 100 | High 100 |
真实网关 | 负载调度器 | 自有路由器 | 自由路由器 |
IP地址 | 公网+私网 | 公网 | 私网 |
优点 | 安全性高 | Wan环境加密数据 | 性能最高 |
缺点 | 效率低,压力大 | 需要隧道支持 | 不能跨越LAN |
2.LVS虚拟服务器
2.1 概述
- Linux Virtual Server 是针对 Linux内核的负载均衡解决方案,于1998年5月由我国的章文嵩博士创建。LVS实际上相当于基于IP地址的虚拟化应用,为基于IP地址和内容请求分发的负载均衡提出了一种高效的解决方法。
- LVS现在已成为Linux内核的一部分,默认编译为ip_vs模块,必要时能够自动调用。
[root@localhost~]# modprobe ip_vs '//加载ip_vs模块,确认内核对LVS的支持'
[root@localhost~]# cat /proc/net/ip_vs '//查看ip_vs版本信息'
2.2 LVS的负载调度算法
2.2.1 轮询(Round Robin)
- 将收到的访问请求按照顺序轮流分配给群集中的各节点(真实服务器),均等地对待每一台服务器,而不管服务器实际的连接数和系统负载。
2.2.2 加权轮询(Weighted Round Robin)
- 根据真实服务器的处理能力轮流分配收到的访问请求,调度器可以自动查询各节点的负载情况,并动态调整其权重,保证处理能力强的服务器承担更多的访问流量。
2.2.3 最少连接(Least Connections)
- 根据真实服务器已建立的连接数进行分配,将收到的访问请求优先分配给连接数最少的节点。如果所有的服务器节点性能相近,采用这种方式可以更好地负载均衡。
2.2.4 加权最少连接(Weighted Least Connections)
- 在服务器节点的性能差异较大的情况下,可以为真实服务器自动调整权重,权重较高的节点将承担更大比例的活动连接负载。
2.3 使用ipvsadm管理工具
LVS群集创建和管理
- 创建虚拟服务器
- 添加,删除服务器节点
- 查看群集及节点情况
- 保存负载分配策略
3.构建LVS负载均衡群集
3.1 案例环境
- LVS调度器作为Web服务器池的网关,LVS两块网卡(VM1和VM2),分别连接内外网,使用轮询(rr)调度算法
LVS负载均衡群集—地址转换模式(LVS-NAT)环境
(1)调度服务器一台
- IP地址:192.168.70.10(内网VM1)
- IP地址:192.168.80.10(外网VM2)
(2)Web服务器两台
- IP地址:192.168.70.11 (SERVER AA)
- IP地址:192.168.70.12(SERVER AB)
注意:Web服务器的网关需指向调度器内网网卡
(3)NFS共享服务器
- IP地址:192.168.70.13
(4)客户端一台,以win7为例,用于测试验证
- IP地址:192.168.70.14(内网)
- IP地址:192.168.80.14(外网)
注意:需确保相同网段之间能互相通信
3.2 实验目的
- win10客户机访问 192.168.70.10 的网址,通过nat地址转换,轮询的访问到Apache1和Apache2主机;
- 搭建出nfs网络文件存储服务。
3.3 部署步骤
- 加载ip_vs模块,安装ipvsadm工具
- 开启路由转发;
- 新建LVS虚拟服务器并添加节点服务器;
- 配置节点服务器:
建立测试网站
挂载NFS共享存储
建立测试网页 - 保存规则并测试
3.4 项目步骤
3.4.1 关闭防火墙
iptables -F
setenforce 0
systemctl stop firewalld
3.4.2 配置NFS存储服务器
[root@nfs ~]# rpm -qa | grep rpcbind //默认虚拟机已安装rpcbind模块
rpcbind-0.2.0-42.el7.x86_64
[root@nfs ~]# yum -y install nfs-utils //确认是否安装nfs-utils软件包
已加载插件:fastestmirror, langpacks
base | 3.6 kB 00:00
Loading mirror speeds from cached hostfile
* base:
软件包 1:nfs-utils-1.3.0-0.48.el7.x86_64 已安装并且是最新版本
无须任何处理
[root@nfs ~]# mkdir /opt/web1
[root@nfs ~]# mkdir /opt/web2
[root@nfs ~]# echo "<h1>this is web1.</h1>" > /opt/web1/index.html
[root@nfs ~]# echo "<h1>this is web2.</h1>" > /opt/web2/index.html
[root@nfs ~]# vi /etc/exports
/opt/web1 192.168.70.11/32 (ro)
/opt/web2 192.168.70.12/32 (ro)
[root@nfs ~]# systemctl restart nfs
[root@nfs ~]# systemctl restart rpcbind
[root@nfs ~]# showmount -e
Export list for nfs:
opt/web2 (everyone)
/opt/web1 (everyone)
3.4.3 配置Web站点服务器
yum -y install httpd
[root@web1 ~]# showmount -e 192.168.70.13
Export list for 192.168.70.13:
opt/web2 (everyone)
/opt/web1 (everyone)
[root@web1 ~]# mount 192.168.70.13:/opt/web1 /var/www/html
[root@web1 ~]# systemctl restart httpd
[root@web1 ~]# netstat -anpt | grep httpd
tcp6 0 0 :::80 :::* LISTEN 55954/httpd
[root@web2 ~]# mount 192.168.70.13:/opt/web2 /var/www/html
[root@web2 ~]# systemctl restart httpd
[root@web2 ~]# netstat -anpt | grep httpd
tcp6 0 0 :::80 :::* LISTEN 54695/httpd
3.4.4 在LVS调度服务器上配置
[root@lvs ~]# vi /etc/sysctl.conf
...
net.ipv4.ip_forward=1
[root@lvs ~]# sysctl -p '//开启路由地址转换'
net.ipv4.ip_forward=1
[root@lvs ~]# modprobe ip_vs '//加载ip_vs模块'
[root@lvs ~]# cat /proc/net/ip_vs
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
[root@lvs ~]# yum -y install ipvsadm
[root@lvs ~]# vi nat.sh
#!/bin/bash
ipvsadm -C
ipvsadm -A -t 192.168.80.10:80 -s rr
ipvsadm -a -t 192.168.80.10:80 -r 192.168.70.11:80 -m
ipvsadm -a -t 192.168.80.10:80 -r 192.168.70.12:80 -m
ipvsadm -Ln
//
-C:'表示清除缓存'
-A:'添加地址为192.168.80.10:80的虚拟地址,指定调度算法为轮询'
-a: '指定真实服务器,指定传输模式为NAT'
-t:'访问的入口地址,VIP'
rr:'表示轮询'
-m:'指的是NAT模式'
运行脚本,启动服务
[root@lvs ~]# sh nat.sh
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.80.10:80 rr
-> 192.168.70.11:80 Masq 1 0 0
-> 192.168.70.12:80 Masq 1 0 0
- 确认调度器是否能访问两个网页
3.4.5 验证结果
- 在浏览器中访问
- 查看群集真实调度明细
[root@lvs ~]# ipvsadm -lnc '//查看真实调度明细'
IPVS connection entries
pro expire state source virtual destination
TCP 01:20 FIN_WAIT 192.168.80.1:51398 192.168.80.10:80 192.168.70.11:80
TCP 00:44 TIME_WAIT 192.168.80.1:51378 192.168.80.10:80 192.168.70.12:80
TCP 00:29 TIME_WAIT 192.168.80.1:51371 192.168.80.10:80 192.168.70.11:80
TCP 00:17 TIME_WAIT 192.168.80.1:51356 192.168.80.10:80 192.168.70.12:80
TCP 11:39 ESTABLISHED 192.168.80.1:51301 192.168.80.10:80 192.168.70.11:80