lvs/DR+vsftpd+nginx源码编译

VS/DR
配置yum源:去挂载点的目录下查看

配置如图

1.安装ipvsadm

2给server1绑定虚拟网卡（真实ip为172.25.40.1）

ip addr add 172.25.40.100/24 dev eth0

添加VIP网卡

3.server2 安装apache 并在默认发布目录index.html写入server2
server3 安装apache 并在默认发布目录index.html写入server3

4.server1上加载rule并保存:

ipvsadm -A -t 172.25.40.100:80 -s rr
ipvsadm -a -t 172.25.40.100:80 -r 172.25.40.3:80 -g
ipvsadm -a -t 172.25.40.100:80 -r 172.25.40.4:80 -g
/etc/init.d/ipvsadm save   #保存rule
(/etc/sysconfig/ipvsadm 可查看rule)

5.server2和server3 分别加VIP

ip addr add 172.25.40.100/32 dev lo

6.在上面的基础上将server2和server3的100全部不对外访问用arptables_jf规则实现；

yum install -y arptables_jf
arptables -A IN -d 172.25.40.100 -j DROP
arptables -A OUT -s 172.25.40.100 -j mangle --mangle-ip-s 172.25.40.2/3
/etc/init.d/arptables_jf save

7.curl 172.25.40.100真机测试查看通过server1调度器实现访问server2和server3轮询

arp -an | grep 100 可查看vip在server几
ipvsadm -l server1上查看调度情况

arp -d 172.25.40.100清除

arptables -L 查看arp

tcpdump -vv -p arp 监控

ldirectord实现健康检查

1.server1安装ldiretord服务

 rpm -ivh ldiretord-3.9.5-3.1.x86_64.rpm
 rpm -ql ldiretord-3.9.5-3,1    #查看配置文件目录

2.修改配置文件

cp /usr/share/doc/ldirectord-3.9.5/ldirectord.cf /etc/ha.d/
vim /etc/ha.d/ldirectord.cf
...
# Sample for an http virtual service
virtual=172.25.40.100:80
        real=172.25.40.2:80 gate
        real=172.25.40.3:80 gate
        fallback=127.0.0.1:80 gate
        service=http
        scheduler=rr
        #persistent=600
        #netmask=255.255.255.255
        protocol=tcp
        checktype=negotiate
        checkport=80
        request="index.html"
        #receive="Test Page"
        #virtualhost=www.x.y.z
...

3.为了避免干扰，将server1 ipvsadm服务停止

/etc/init.d/ipvsadm stop

5）打开ldirectord服务 ipvsadm -l 查看情况将本机apache端口由8080改为80并默认目录加入“网站正在维护“

/etc/init.d/ ldirectord start

6）将server2或者server3的apache服务停止一个真机测试实现健康检查

通过keepalived实现健康检查和高可用

（下载网站：www.keepalived.org）
1.安装keepalived

tar zxf keepalived-1.4.3.tar.gz
yum install -y openssl-devel libnl3-devel ipset-devel iptables-devel libnfnetlink-devel       (安装依赖性)
tar -ivh libnfnetlink-devel-1.0.0-1.el6.x86_64.rpm 
yum install -y libnfnetlink-devel-1.0.0-1.el6.x86_64

cd keepalived-1.4.3
进行源码编译：./configure –prefix=/usr/local/keepalived –with-init=SYSV

（编译过程中缺少什么就去网上查看相应的包）
安装成功

make

make&&make insatll完成安装

方便使用keepalived，做软连接

ln -s /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/
ln -s /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/
ln -s /usr/local/keepalived/etc/keepalived /etc/
ln -s /usr/local/keepalived/sbin/keepalived /bin/
chmod +x /usr/local/keepalived/etc/rc.d/init.d/keepalived  (给予执行权限)

将下载好的keepalived直接发给server4
scp -r keepalived/ server4:/usr/local/
server4执行上述步骤

编辑keepalived配置文件
vim /usr/local/keepalived/etc/keepalived/keepalived.conf

! Configuration File for keepalived
global_defs {
notification_email {
#接收警报的 email 地址,可以添加多个
root@localhost
}
notification_email_from keepalived@server88.example.com
smtp_server 127.0.0.1
#设置邮件的发送地址
#设置 smtp server 地址
smtp_connect_timeout 30 #设置连接 smtp 服务器超时时间
router_id LVS_DEVEL
}
vrrp_instance VI_1 {
*state MASTER
#load balancer 的标识 ID,用于 email 警报
#备机改为 BACKUP,此状态是由 priority 的值来决定的,当前
priority 的值小于备机的值,那么将会失去 MASTER 状态
interface eth0 #HA 监测网络接口
virtual_router_id 51 #主、备机的 virtual_router_id 必须相同,取值 0-255
*priority 100 #主机的优先级,备份机改为 50,主机优先级一定要大于备机
advert_int 1 #主备之间的通告间隔秒数
authentication { #主备切换时的验证
auth_type PASS #设置验证类型,主要有 PASS 和 AH 两种
auth_pass 1111 #设置验证密码,在一个 vrrp_instance 下,MASTER 与 BACKUP 必
须使用相同的密码才能正常通信
}
virtual_ipaddress {
172.25.40.100
}
#设置虚拟 IP 地址,可以设置多个虚拟 IP 地址,每行一个
}
virtual_server 172.25.40.100 80 {
#定义虚拟服务器
delay_loop 6 #每隔 6 秒查询 realserver 状态
lb_algo rr #lvs 调度算法,这里使用轮叫lb_kind DR
#
persistence_timeout 50
lb_kind DR
#LVS 是用 DR 模式
#会话保持时间,单位是秒,这个选项对于动态网页是非常有
用的,为集群系统中 session 共享提供了一个很好的解决方案。有了这个会话保持功能,用户的
请求会被一直分发到某个服务节点,直到超过这个会话保持时间。需要注意的是,这个会话保
持时间,是最大无响应超时时间,也就是说用户在操作动态页面时,如果在 50 秒内没有执行任
何操作,那么接下来的操作会被分发到另外节点,但是如果一直在操作动态页面,则不受 50 秒
的时间限制。
protocol TCP
real_server 172.25.40.2 80 {
weight 1
#指定转发协议类型,有 tcp 和 udp 两种
#配置服务节点
#配置服务节点的权值,权值大小用数字表示,数字越大,权
值越高,设置权值的大小可以为不同性能的服务器分配不同的负载,可以对性能高的服务器设
置较高的权值,而对性能较低的服务器设置相对较低的权值,这样就合理的利用和分配了系统
资源
TCP_CHECK {
#realserve 的状态检测设置部分,单位是秒
connect_timeout 3 #10 秒无响应超时
nb_get_retry 3 #重试次数
delay_before_retry 3 #重试间隔
}
}
real_server 172.25.40.3 80 {
weight 1
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}

将修改好的keepalived文件发送给server4备机，修改部分内容，同时关闭之前做健康检查的ldirectord，VIP下掉，备机安装ipvsadm，使用ipvsadm -l/L

注:备机的 keepalived 配置文件标*地方!
ifdown eth0 模拟网络断掉

测试:
1. 高可用测试:停止 master 上的 keepalived 服务,看 backup 是否接管。
2. 负载均衡测试:访问 http://192.168.0.163,看到页面在两个 realserver 上切换表示成功!
你也可以通过 ipvsadm -Lnc 查看详细连接情况!
3. 故障切换测试:任意关闭 realserver 上的 httpd 服务,Keepalived 监控模块是否能及时发现,
然后屏蔽故障节点,同时将服务转移到正常节点来执行。

vsftpd

server2 server3安装vsftpd并开启
yum install -y vsftpd
server2: cd /var/ftp/ touch server2
server1：修改keepalived配置文件

...
virtual_server 172.25.40.100 21 {
delay_loop 6 
lb_algo rr 
persistence_timeout 50

protocol TCP
real_server 172.25.40.2 21 {
weight 1

TCP_CHECK {

connect_timeout 3 
nb_get_retry 3 
delay_before_retry 3 
}
}
real_server 172.25.40.3 21 {
weight 1
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
...

重启keepalived
ipvsadm -l 查看一个ftp 一个http
即可lftp 172.25.40.100 (VIP) 得到server2

nginx源码编译

server4关闭keepalived server2 server3关闭arptables_jf
server3 :cd /var/ftp/ touch server3
server2 server3 VIP 移除

nginx-1.14.0.tar.gz
cd nginx-1.14.0/
vim src/core/nginx.h #去掉版本号
vim auto/cc/gcc #注释掉debug
进行源码编译

./configure --prefix=/usr/local/nginx --with-http_ssl_module --with-http_stub_status_module 
(安装依赖性)
make && make install

为减少占用空间可以： cd nginx-1.14.0/ make clean rm -fr nginx-1.14.0 tar zxf
nginx-1.14.0.tar.gz 之后进行重新编译
du -sh 查看占用空间

方便使用做软连接
ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/
nginx -t

nginx 将启用80端口

测试：若浏览器访问server1 IP （172.25.40.1）可以得到welcome to nginx则成功

VS/NAT
VS/TUN