Ubuntu16.04下KeepAlived+Nginx 布署

前言
         网上已经有很多相关文章,对各种概念介绍的比较清楚,也有各种详细的步骤,这里主要记录本要在ubuntu16.04下的布署过程,主要记录编译安装keepalived时遇到的坑及解决办法。

        可以参考的文章:

         Nginx+keepalived 高可用双机热备(主从模式/双主模式)

         LVS+KeepAlived+Nginx高可用实现方案https://blog.csdn.net/lupengfei1009/article/details/86514445

环境
     系统: ubuntu16.04

     keepalived: 2.0.15

     nginx:1.14.2

架构
       双机高可用方法目前分为两种:

      1)Nginx+keepalived 双机主从模式:即前端使用两台服务器,一台主服务器和一台热备服务器,正常情况下,主服务器绑定一个公网虚拟IP,提供负载均衡服务,热备服务器处于空闲状态;当主服务器发生故障时,热备服务器接管主服务器的公网虚拟IP,提供负载均衡服务;但是热备服务器在主机器不出现故障的时候,永远处于浪费状态,对于服务器不多的网站,该方案不经济实惠。

      2)Nginx+keepalived 双机主主模式:即前端使用两台负载均衡服务器,互为主备,且都处于活动状态,同时各自绑定一个公网虚拟IP,提供负载均衡服务;当其中一台发生故障时,另一台接管发生故障服务器的公网虚拟IP(这时由非故障机器一台负担所有的请求)。这种方案,经济实惠。

     下面分别是两种模式对应的架构示意图。需要说明的是,虽然每台服务器都配置了VIP,但正常情况下,对于每个VIP,同时只会有一台机器实际占用。

安装步骤
         说明:本文主要介绍安装keepalived时遇到的问题及解决办法,所以没有只用了两台机器,并没有介绍后端服务。另外这里只介绍了主从模式。

        主要的问题归纳:

        1. 需要从解压后的源码包去找 服务脚本,这是2.0之后的变化
          cp keepalived-2.0.15/keepalived/etc/init.d/keepalived /etc/init.d/ 
        2. 这个脚本里的默认路径配置不正确,需要针ubuntu做处理

        3. 这个脚本里的命令有问题,需要修改

 主从模式
  1. 安装nginx (两台都要安装)

apt-get update #更新包源

#安装gcc g++的依赖库、 pcre依赖库、 zlib依赖库、 openssl、libssl-dev
apt install build-essential
apt install libtool
apt install libpcre3 libpcre3-dev
apt install zlib1g-dev
apt install openssl libssl-dev

#下载nginx,解压
wget http://nginx.org/download/nginx-1.14.2.tar.gz
tar -zxvf nginx-1.14.2.tar.gz
cp -r nginx-1.14.2 /usr/local/src


#添加www用户,其中 -M参数表示不添加用户家目录,-s参数表示指定shell类型
useradd www -M -s /sbin/nologin

#配置nginx 并安装
cd /usr/local/src/nginx-1.14.2
./configure --prefix=/usr/local/nginx --user=www
make && make install

#配置测试页,可以方便识别内容来自哪台服务器,主上是come from master,从上是slave
echo "come from master" >/usr/local/nginx/html/test.html
#启动nginx
/usr/local/nginx/sbin/nginx
#访问
curl localhost/test.html
come from master #从上的话应该返回 come from slave.
 2.安装 keepalived

#解压并安装
tar zxvf keepalived-2.0.15.tar.gz
cp -r keepalived-2.0.15 /usr/local/src
cd /usr/local/src/keepalived-2.0.15/
./configure --prefix=/usr/local/keepalived
make && make install

  #使keepalived命令能直接使用
  cp /usr/local/keepalived/sbin/keepalived /sbin/

  # 创建配置文件并修改

  mkdir -p /etc/keepalived
  cp /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/
  vim /etc/keepalived/keepalived.conf

  为了测试方便,我的配置文件比较简单:

  cp /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/  

! Configuration File for keepalived

global_defs {
router_id kp_s1 #在一个网络应该是唯一的
}

vrrp_script chk_nginx {
script "/etc/keepalived/nginx_check.sh" #定时检查nginx是否正常运行的脚本
interval 2 #脚本执行间隔,每2s检测一次
weight -5 #脚本结果导致的优先级变更,检测失败(脚本返回非0)则优先级 -5
fall 2 #检测连续2次失败才算确定是真失败。会用weight减少优先级(1-255之间)
rise 1 #检测1次成功就算成功。但不修改优先级
}



vrrp_instance VI_1 {
#指定keepalived的角色,这里指定的不一定就是MASTER,实际会根据优先级调整,另一台为BACKUP
state MASTER
interface ens33 #当前进行vrrp通讯的网卡
virtual_router_id 200 #虚拟路由编号(数字1-255),主从要一致
# mcast_src_ip 192.168.79.191 #
priority 100 #定义优先级,数字越大,优先级越高,MASTER的优先级必须大于BACKUP的优先级
nopreempt
advert_int 1 #设定MASTER与BACKUP负载均衡器之间同步检查的时间间隔,单位是秒
authentication {
auth_type PASS
auth_pass 2222
}
#执行监控的服务。注意这个设置不能紧挨着写在vrrp_script配置块的后面(实验中碰过的坑),
#否则nginx监控失效!!
track_script {
chk_nginx #引用VRRP脚本,即在 vrrp_script 部分指定的名字。
#定期运行它们来改变优先级,并最终引发主备切换。
}

virtual_ipaddress {#VRRP HA 虚拟地址 如果有多个VIP,继续换行填写
192.168.79.210
}
}
      #创建检查nginx状态的脚本     

vim /etc/keepalived/nginx_check.sh
      脚本的内容如下(检查nginx运行):

#!/bin/bash
counter=`ps -C nginx --no-heading|wc -l`
echo "$counter"
if [ "${counter}" = 0 ]; then
/usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf
sleep 2
counter=`ps -C nginx --no-heading|wc -l`
if [ "${counter}" = 0 ]; then
/etc/init.d/keepalived stop
fi
fi
      #修改脚本权限,使其可以被执行

chmod +x /etc/keepalived/nginx_check.sh
3. 设置服务启动

  复制服务脚本
  cp keepalived-2.0.15/keepalived/etc/init.d/keepalived /etc/init.d/ 
  #注意:上面的服务启动脚本是在源文件目录,而不是安装目录(/usr/local/keepalived)下,这是2.0之后的变化。

  修正相关配置问题
   vim /etc/init.d/keepalived 可以看到下图内容,其中有3个地方有问题。

图中1:  由于 ubuntu下没有 /etc/rc.d/init.d/functions,需要为其建立软链接

 mkdir -p  /etc/rc.d/init.d
 ln -s /lib/lsb/init-functions /etc/rc.d/init.d/functions

图中2:拷贝相应文件的源配置文件

注释内容有介绍 ,这个源配置文件(在里面设置keepalived启动参数)

mkdir /etc/sysconfig
cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/  

图中3:安装daemon,并修改命令

  1. 安装 daemon:  apt install daemon

  2. 图中3的命令 修改为daemon -- keepalived ${KEEPALIVED_OPTIONS}  #加了一个“--”

  说明:命令里的变量 ${KEEPALIVED_OPTIONS} 是在/etc/sysconfig/keepalived里设置的,默认内容如图。 

   这里的-D 代表记录详细日志。那么命令 daemon keepalived ${KEEPALIVED_OPTIONS}的结果是

   daemon keepalived -D

   这个命令是有问题的,其中的-D本来是给keepalived用的,但这样组合后被认为是daemon命令的参数。这会导致服务不能启动。  如果不修改,会提示启动失败,但却不输出具体信息。但可以通过查看 /var/log/syslog  找到错误信息

    $Starting keepalived: daemon: option requires an argument -- 'D' 。这是一个底层错误,所以只在系统日志里看到。

     执行  daemon --help, 可以看到帮助信息

       

    可以看出, daemon命令的-D参数是需要一个path参数的,所以会出现系统日志里的错误。
    由 usage: daemon [options] [--] [cm arg...],可知正确的命令格式应该是:daemon -- keepalived -D
    所以上面力中标示的第3处,应该修改为 daemon -- keepalived ${KEEPALIVED_OPTIONS}

    注意:每次修改/etc/init.d/keepalived后,需要重新运行 systemctl daemon-reload 重新加载服务脚本

    启动测试(两台都启动)    
 

systemctl daemon-reload #重新加载服务
service keepalived start #启动keealived服务
service keepalived status #可以查看运行状态
ip a #查看是否占用了VIP,只有主服务器可以占用,主有问题时,才会漂移到从服务器,并且从服务器状态变为MASTER

    如果启动出现问题,除了这里的输出信息,还可以通过 /var/log/syslog来查看问题

    正常状态是

       1) 在任意一台服务器上关闭nginx,会发现keepalived自动重启nginx

       2) 关闭任意一台服务器,VIP漂移到另一台服务器

       3)通过curl http://192.168.79.210/test.html 可以查看返回内容是来自主还是来自从。

           

更多细节和 双主模式,可以参考 Nginx+keepalived 高可用双机热备(主从模式/双主模式)

猜你喜欢

转载自www.cnblogs.com/ExMan/p/11838955.html