LVS DR模式搭建、keepalived + LVS高可用负载均衡集群

1、LVS DR模式搭建

在生产环境用中的比较多的是DR模式，NAT模式有瓶颈，节省公网IP，对小公司来说公网IP也是花钱的，如果是配置的多台机器，每台机器都去配置一个公网IP就是很浪费资源的情况，而且当下公网IP越来越少；
另一种方案，搭建内部的lvs，全部都用内网，包括VIP也用内网，用一个公网IP做一个映射；公网的80端口映射到内网VIP的80端口，这样可以节省IP

准备工作

DR模式，准备三台机器，只需要有有一个网卡，一个IP
分发器，也叫调度器（简写为dir）222.110
rs1    222.111
rs2    222.112
vip    222.115
vip绑定在所有的机器上，不仅分发器需要绑定，还有rs需要绑定

在dir分发器（即A机器）上编写脚本，在/usr/local/sbin/lvs_dr.sh编辑

#! /bin/bash
echo 1 > /proc/sys/net/ipv4/ip_forward  #打开端口转发
ipv=/usr/sbin/ipvsadm  //#这是一个变量
vip=192.168.222.115
rs1=192.168.222.111
rs2=192.168.222.112
#注意这里的网卡名字
ifdown ens33
ifup ens33
ifconfig ens33:2 $vip broadcast $vip netmask 255.255.255.255 up    //给一个网卡设置一个虚拟网卡
route add -host $vip dev ens33:2
$ipv -C
$ipv -A -t $vip:80 -s wrr
$ipv -a -t $vip:80 -r $rs1:80 -g -w 1 //#这里-g 指定DR模式
$ipv -a -t $vip:80 -r $rs2:80 -g -w 1

启动分发器上的脚本

[root@aminglinux ~]# sh /usr/local/sbin/lvs_dr.sh
成功断开设备 'ens33'。
连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/5）

这里执行脚本出来的信息是没有错的，因为有ifdown ens33和ifup ens33重启网卡
在两台rs上写脚本（即B机器和C机器），在 /usr/local/sbin/lvs_rs.sh 编辑

[root@aming2 nginx]# vim /usr/local/sbin/lvs_rs.sh
#/bin/bash
vip=192.168.222.115
#把vip绑定在lo上，是为了实现rs直接把结果返回给客户端
ifdown lo
ifup lo
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
#以下操作为更改arp内核参数，目的是为了让rs顺利发送mac地址给客户端
#参考文档www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

脚本定义/lo/arp_ignore和/all/arp_ignore的理解：

arp_ignore:定义对目标地址为本地IP的ARP询问不同的应答模式0
0 - (默认值): 回应任何网络接口上对任何本地IP地址的arp查询请求
1 - 只回答目标IP地址是来访网络接口本地地址的ARP查询请求
2 -只回答目标IP地址是来访网络接口本地地址的ARP查询请求,且来访IP必须在该网络接口的子网段内
3 - 不回应该网络界面的arp请求，而只对设置的唯一和连接地址做出回应
4-7 - 保留未使用
8 -不回应所有（本地地址）的arp查询

脚本定义/lo/arp_announce和/all/arp_announce的理解

arp_announce:对网络接口上，本地IP地址的发出的，ARP回应，作出相应级别的限制: 确定不同程度的限制,宣布对来自本地源IP地址发出Arp请求的接口
0 - (默认) 在任意网络接口（eth0,eth1，lo）上的任何本地地址
1 -尽量避免不在该网络接口子网段的本地地址做出arp回应. 当发起ARP请求的源IP地址是被设置应该经由路由达到此网络接口的时候很有用.此时会检查来访IP是否为所有接口上的子网段内ip之一.如果改来访IP不属于各个网络接口上的子网段内,那么将采用级别2的方式来进行处理.
2 - 对查询目标使用最适当的本地地址.在此模式下将忽略这个IP数据包的源地址并尝试选择与能与该地址通信的本地地址.首要是选择所有的网络接口的子网中外出访问子网中包含该目标IP地址的本地地址. 如果没有合适的地址被发现,将选择当前的发送网络接口或其他的有可能接受到该ARP回应的网络接口来进行发送.
执行B机器和C机器的脚本;查看一下两台rs的路由表

[root@aming2 nginx]# sh /usr/local/sbin/lvs_rs.sh
[root@aming2 ~]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         192.168.222.110 0.0.0.0         UG    100    0        0 ens33
192.168.222.0   0.0.0.0         255.255.255.0   U     100    0        0 ens33
192.168.222.115 0.0.0.0         255.255.255.255 UH    0      0        0 lo

查看VIP是否已经绑在lo卡上

[root@aming2 ~]# ip add
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet 192.168.222.115/32 brd 192.168.222.115 scope global lo:0
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever

测试：用浏览器访问VIP：192.168.222.115，不断刷新访问，就会在两台rs上交互访问

[root@aminglinux ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.222.115:80 wrr
  -> 192.168.222.111:80           Route   1      1          1         
  -> 192.168.222.112:80           Route   1      0          1

因为浏览器有缓存，所以没有办法及时的查看到lvs负载均衡的效果；但是通过刷新浏览器VIP地址，然后在dir机器是上查看ipvsadm的情况，可以发现，每一次刷新，ActiveConn都会有变化，刷新次数到一定数量是，InActConn也会产生变回，可见我们的实验是成功的

2、keepalived + LVS

完整架构需要两台服务器（角色为dir）分别安装keepalived软件，目的是实现高可用，但keepalived本身也有负载均衡的功能，所以本次实验可以只安装一台keepalived
为什么需要把keepalived 加到lvs 中的目的是什么？
原因一：lvs，它有个关键角色，就是dir分发器，如果分发器宕掉，那所有的访问就会被终止，因为所有的入口全都在dir分发器上，所以需要把分发器做一个高可用，用keepalived实现高可用，并且keepalived还有负载均衡的作用。
原因二：在使用lvs的时候，如果没有额外的操作，这时将一个rs机器关机（宕机）时，lvs照样会分发数据到这台宕机机器，这是就会出现访问无效的情况，说明lvs并不聪明；这时使用keepalived，就可以保证集群中其中一台rs宕机了，web还能正常提供，不会出现用户访问时无效链接的结果；一般这种架构，肯定是2台keepalived；
因为keepalived内置了ipvsadm的功能，所以不再需要安装ipvsadm的包，也不用再编写和执行.sh脚本

准备工作

dir（安装keepalived）222.110
rs1 222.111
rs2 222.112
vip 222.115

在dir分发器（A机器）上，清空ipvsadm规则，并查看ipvsadm规则是已经清空

[root@aminglinux ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn

在分发器（即A机器）上编辑配置文件，在/etc/keepalived/keepalived.conf 配置；配置文件内容：https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/lvs_keepalived.conf

[root@aminglinux ~]# >/etc/keepalived/keepalived.conf  //因为之前做实验里面编辑过配置文件，这时直接删除，然后粘贴新的配置文件
[root@aminglinux ~]# vim /etc/keepalived/keepalived.conf
vrrp_instance VI_1 {
    #备用服务器上为 BACKUP
    state MASTER
    #绑定vip的网卡为ens33，你的网卡和阿铭的可能不一样，这里需要你改一下
    interface ens33
    virtual_router_id 51
    #备用服务器上为90
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass aminglinux
    }
    virtual_ipaddress {
        192.168.222.115        //vip 地址
    }
}
virtual_server 192.168.222.115 80 {        //vip 地址
    #(每隔10秒查询realserver状态)
    delay_loop 10
    #(lvs 算法)
    lb_algo wlc
    #(DR模式)
    lb_kind DR
    #(同一IP的连接60秒内被分配到同一台realserver)
    persistence_timeout 60
    #(用TCP协议检查realserver状态)
    protocol TCP
    real_server 192.168.222.111 80 {        //rs1机器
        #(权重)
        weight 100
        TCP_CHECK {
        #(10秒无响应超时)
        connect_timeout 10
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
    }
    real_server 192.168.222.112 80 {        //rs2机器
        weight 100
        TCP_CHECK {
        connect_timeout 10
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
     }
}

启动nginx服务，查看nginx进程，启动keepalived,查看keepalived服务

[root@aminglinux ~]# systemctl start nginx
[root@aminglinux ~]# ps aux |grep nginx
root      3618  0.3  0.2 120812  2092 ?        Ss   22:38   0:00 nginx: master process /usr/sbin/nginx
nginx     3619  0.0  0.3 121276  3128 ?        S    22:38   0:00 nginx: worker process
nginx     3620  0.0  0.3 121276  3128 ?        S    22:38   0:00 nginx: worker process
root      3622  0.0  0.0 112720   980 pts/0    S+   22:38   0:00 grep --color=auto nginx

[root@aminglinux ~]# systemctl start keepalived
[root@aminglinux ~]# ps aux |grep keepalived
root      3637  0.3  0.1 118652  1400 ?        Ss   22:40   0:00 /usr/sbin/keepalived -D
root      3638  0.3  0.3 127520  3332 ?        S    22:40   0:00 /usr/sbin/keepalived -D
root      3639  0.3  0.2 127388  2624 ?        S    22:40   0:00 /usr/sbin/keepalived -D
root      3641  0.0  0.0 112720   984 pts/0    S+   22:40   0:00 grep --color=auto keepalived
[root@aminglinux ~]#

查看IP，查看ipvsadm规则

[root@aminglinux ~]# ip add
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:97:24:0e brd ff:ff:ff:ff:ff:ff
    inet 192.168.222.110/24 brd 192.168.222.255 scope global ens33
       valid_lft forever preferred_lft forever
    inet 192.168.222.115/32 brd 192.168.222.115 scope global ens33:2
       valid_lft forever preferred_lft forever
    inet6 fe80::effe:fc70:7a68:994c/64 scope link 
       valid_lft forever preferred_lft forever
3: ens37: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:97:24:18 brd ff:ff:ff:ff:ff:ff
    inet 192.168.209.130/24 brd 192.168.209.255 scope global ens37
       valid_lft forever preferred_lft forever
    inet6 fe80::b491:efb5:c6cc:ce72/64 scope link 
       valid_lft forever preferred_lft forever
[root@aminglinux ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.222.115:80 wlc persistent 60
  -> 192.168.222.111:80           Route   100    0          0         
  -> 192.168.222.112:80           Route   100    0          0

关闭keepalived服务，再来查看ip,会到虚拟IP停掉了;也没有启动规则；
启动keepalived，再来查看规则
在rs机器上创建的/usr/local/sbin/lvs_rs.sh脚本，然后执行

[root@aming3 ~]# vim /usr/local/sbin/lvs_rs.sh

#/bin/bash
vip=192.168.222.115
#把vip绑定在lo上，是为了实现rs直接把结果返回给客户端
ifdown lo
ifup lo
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
#以下操作为更改arp内核参数，目的是为了让rs顺利发送mac地址给客户端
#参考文档www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

[root@aming3 ~]# sh /usr/local/sbin/lvs_rs.sh

测试：浏览器上访问vip：192.168.222.115，刷新页面，会交互访问B和C的站点。当B或C宕机了，都能够访问至其他RS上去，业务不会中断。

[root@aminglinux ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.222.115:80 wlc persistent 60
  -> 192.168.222.111:80           Route   100    1          0

Keepalived+LVS作用
Keepalived搭建高可用保证LVS中director宕机后服务器不瘫痪：有2台或以上的Director
如果只使用LVS，那么当LVS架构中某个real server宕机后，director仍然会继续向其发送请求，添加Keepalived后会自动将宕机的real server清除出rs列表。

LVS DR模式搭建、keepalived + LVS高可用负载均衡集群

猜你喜欢