LVS-DR群集部署

一、LVS-DR模式简述

1.LVS-DR模式工作原理

• DR模式客户端到服务器的数据是先通过调度器，在流向各Web节点；
• Web节点到客户机的数据是通过路由器，不经过调度器；

2.LVS-DR数据包流向分析

• 1.client向目标VIP发出请求，Director(负载均衡器)接收
• 2.Director根据负载均衡算法选择RealServer_1，不修改也不封装P报文，而是将数据帧的MAC地址改为RealServer_1的MAC地址，然后在局域网上发送
• 3.RealServer_1收到这个帧，解封装后发现目标IP与本机匹配（RealServer事先绑定VIP），于是处理这个报文，随后重新封装报文，发送到局域网
• 4.Client将收到回复报文，Client认为得到正常的服务，而不会知道是哪一台服务器处理的
  注：如果是跨网段，则报文通过路由器经由Internet返回给用户

3.LVS-DR中的ARP问题

1.问题

• 在局域网中具有相同的IP地址，势必会造成各服务器ARP通信的紊乱 。
• 当ARP广播发送到LVS-DR集群时，因为负载均衡器和节点服务器都是连接 到相同的网络上，它们都会接收ARP广播。

1.1 怎样解决的问题

只有前端的负载均衡器进行响应，其他节点服务器不应该响应ARP广播。

1.2 解决办法

• 对节点服务器进行处理，使其不响应针对VIP（虚拟地址）的ARP请求
• 使用虚接口lo:0承载VIP（虚拟地址）地址
• 设置内核参数arp_ignore=1，系统只响应目的IP为本地IP的ARP请求

2.新问题

• 节点服务器返回报文经路由器转发，重新封装报文时，需要先获取路由器的MAC地址
• 发送ARP请求时，Linux默认使用IP包的源IP地址（即虚拟IP）作为ARP请求包中的源IP地址，而不使用发送接口的IP地址
• 路由器收到ARP请求后，将更新ARP表项，原有的虚拟IP对应的负载均衡器MAC地址会被更新为虚拟IP对应节点服务器的MAC地址
• 路由器根据ARP表项，会将新来的请求报文发送给节点服务器，导致负载均衡器虚拟IP失效

2.1 解决办法

对节点服务器进行设置，设置内核参数arp_announce=2，系统不使用IP包的源地址来设置ARP请求的源地址，而选择发送接口的IP地址

二、LVS-DR部署过程

1.设备基本配置架构

调度服务器一台：lvs
ip：192.168.1.10（内网）
    192.168.2.10（外网）
        
Web服务器两台：
ip：192.168.1.11（第1台）
ip：192.168.1.12（第2台）

NFS共享服务器：
ip：192.168.1.13

客户端一台：用于测试验证
ip：192.168.2.14（外网）

2.操作流程

1.在nfs存储服务器上查看软件是否安装

[root@nfs ~]# rpm -qa | grep nfs
[root@nfs ~]# rpm -qa | grep rpcbind

2.配置共享目录，创建网页

[root@nfs ~]# mkdir /web1
[root@nfs ~]# mkdir /web2
[root@nfs ~]# echo "<h1>This is Web1</h1>" > /web1/index.html
[root@nfs ~]# echo "<h1>This is Web2</h1>" > /web2/index.html

3.编辑配置

[root@nfs ~]# vi /etc/exports

添加：
目录     共享对象       权限
/web1 192.168.1.11/32(ro)
/web2 192.168.1.12/32(ro)

5.服务启动

[root@nfs ~]# systemctl start nfs  #开启服务允许nginx客户机访问共享，网络文件xt
[root@nfs ~]# systemctl start rpcbind  #开启跨平台，端口管理服务
[root@nfs ~]# showmount -e   #查看共享情况
Export list for nfs:
/web2 (everyone)
/web1 (everyone)
注：允许给所有用户共享

在web1、web2上
1.安装httpd软件

[root@web1 ~]#yum -y  install   httpd
[root@web2 ~]#yum -y  install   httpd

2.挂载到存储服务器上
web1上

扫描二维码关注公众号，回复： 12165007 查看本文章

[root@web1 ~]# mount 192.168.1.13:/web1 /var/www/html/
[root@web1 ~]# df -Th
[root@web1 ~]# systemctl start httpd  使两个节点网页启动
[root@web1 ~]# curl http://localhost    测试自己的网页

web2上

[root@web2 ~]# mount 192.168.1.13:/web2 /var/www/html/
[root@web2 ~]# df -Th
[root@web2 ~]# systemctl start httpd  使两个节点网页启动
[root@web2 ~]# curl http://localhost    测试自己的网页

3.编辑配置虚拟接口地址脚本
在web1上

[root@web1 ~]# vi web1.sh
[root@web1 ~]# chmod +x web1.sh 
[root@web1 ~]# ./web1.sh 
[root@web1 ~]# ifconfig    #查看虚拟接口
[root@web1 ~]# route -n     #查看增加的路由

生成虚拟接口，地址与ens33在同一网段
添加：
#!/bin/bash
# lvs web1        
ifconfig lo:0 192.168.1.200 broadcast 192.168.1.200 netmask 255.255.255.255 up 
route add -host 192.168.1.200 dev lo:0      #针对lo:0x虚拟接口生成一个路由
echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p &> /dev/null    #配置生效并在屏幕中不显示输出

web2同上

[root@web2 ~]# vi web2.sh
[root@web2 ~]# chmod +x web2.sh 
[root@web2 ~]# ./web2.sh 
[root@web2 ~]# ifconfig    #查看虚拟接口
[root@web2 ~]# route -n     #查看增加的路由

生成虚拟接口，地址与ens33在同一网段
添加：
#!/bin/bash
# lvs web1        
ifconfig lo:0 192.168.1.200 broadcast 192.168.1.200 netmask 255.255.255.255 up 
route add -host 192.168.1.200 dev lo:0      #针对lo:0x虚拟接口生成一个路由
echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p &> /dev/null    #配置生效并在屏幕中不显示输出

在lvs调度器上
1.确定内核对LVS的支持

[root@lvs ~]# modprobe ip_vs        #手动加载，对ip_vs的探测加载
[root@lvs ~]# cat /proc/net/ip_vs    #查看基本信息（版本信息，虚拟地址）
IP Virtual Server version 1.2.1 (size=4096)    #虚拟服务器版本信息
Prot LocalAddress:Port Scheduler Flags
 -> RemoteAddress:Port Forward Weight ActiveConn InActConn
[root@lvs ~]# yum -y install ipvsadm

2.配置脚本

[root@lvs ~]# vi lvs.sh
[root@lvs ~]# chmod  +x  lvs.sh
[root@lvs ~]# ./lvs.sh
[root@lvs ~]# systemctl stop firewalld
[root@lvs ~]# setenforce 0

添加：
#!/bin/bash
# lvs
ifconfig ens33:0 192.168.1.200 broadcast 192.168.1.200 netmask 255.255.255.255 up
添加虚拟地址的虚接口
route add -host 192.168.1.200 dev ens33:0    添加路由
ipvsadm -C   清除内核虚拟服务器表中的所有记录
ipvsadm -A -t 192.168.1.200:80 -s rr   创建虚拟服务器
ipvsadm -a -t 192.168.1.200:80 -r 192.168.1.11:80 -g  （-g：DR模式）地址捆绑虚拟地址
ipvsadm -a -t 192.168.1.200:80 -r 192.168.1.12:80 -g
ipvsadm -Ln   查看节点状态，加个“-n”将以数字形式显示地址，端口信息

测试
192.168.1.200

3.查看调度情况

[root@lvs ~]# ipvsadm -Lnc