记录一下自己搭建Heartbeat+LVS的过程，花费了不少时间，并没有想象中的那么简单。
Heartbeat提供了高可用集群最基本的功能，例如，节点间的内部通信方式、集群合作管理机制、监控工具和失效切换功能等。但是Heartbeat仅仅是个HA软件，它仅能完成心跳监控和资源接管，不会监视它控制的资源或应用程序。要监控资源和应用程序是否运行正常，必须使用第三方的插件，例如ipfail、Mon和Ldirector等。Heartbeat自身包含了几个插件，分别是ipfail、Stonith和 Ldirectord。
首先到http://www.linux-ha.org/wiki/Downloads中下载所需软件，分别是Heartbeat、Cluster Glue、Resource Agents。编译的顺序是：先Cluster Glue, 再Resource Agents，然后Heartbeat。另外需要确认安装了autoconf, automake,pkgconfig,libxslt-devel等包
===============================================================
环境
Linux-master 10.10.50.217
Linux-slave 10.10.50.151
Linux-web-01 10.10.50.197
Linux-web-02 10.10.50.215
VIP:10.10.50.216
===============================================================
Heartbeat
编译安装的时候可能遇到一个问题是
|
1
2
3
4
5
6
7
8
9
10
11
12
13
|
./.libs/libplumb.so: undefined reference to `uuid_parse'
./.libs/libplumb.so: undefined reference to `uuid_generate'
./.libs/libplumb.so: undefined reference to `uuid_copy'
./.libs/libplumb.so: undefined reference to `uuid_is_null'
./.libs/libplumb.so: undefined reference to `uuid_unparse'
./.libs/libplumb.so: undefined reference to `uuid_clear'
./.libs/libplumb.so: undefined reference to `uuid_compare'
collect2: ld returned 1
exit
status
gmake[2]: *** [ipctest] Error 1
gmake[2]: Leaving directory `/root/Reusable-Cluster-Components-glue-1.0.6/lib/clplumbing'
gmake[1]: *** [all-recursive] Error 1
gmake[1]: Leaving directory `/root/Reusable-Cluster-Components-glue-1.0.6/lib'
make: *** [all-recursive] Error 1
|
解决方法：在configure时在后面加上LIBS='/lib/libuuid.so.1'。这个问题在对三个包进行make的时候都会出现类似的错误，所以make三个包时都要用到，我在编译中没有遇到这个问题。
安装步骤
安装过程中会在INTERNET中校验一些xml文件，会耗费大量时间，要耐心等待。如果报错可能是网络引起，多试几次就行。
一、安装 Reusable-Cluster-Components-glue-1.0.6.tar.bz2
#groupadd hacluster
#groupadd haclient
#useradd hacluster -g hacluster
#tar -jxf Reusable-Cluster-Components-glue-1.0.6.tar.bz2
#cd Reusable-Cluster-Components-glue-1.0.6
#./autogen.sh
#./configure
#make
#make install
这里编译的时候会遇到另外一个问题
|
1
2
3
4
5
6
7
8
9
10
|
cc1: warnings being treated as errors
main.c:64: warning: function declaration isn't a
prototype
main.c:78: warning: function declaration isn't a
prototype
gmake[2]: *** [main.o] Error 1
gmake[2]: Leaving directory
`/root/Reusable-Cluster-Components-glue-1.0.6/lib/stonith'
gmake[1]: *** [all-recursive] Error 1
gmake[1]: Leaving directory `/root/Reusable-Cluster-Components-glue-1.0.6/lib'
make: *** [all-recursive] Error 1
error: Bad
exit
status from /var/tmp/rpm-tmp.55884 (
%build
)
|
解决方法：编辑lib/stonith/main.c，将version相关的注释掉
1、找到其64行，用/* ....*/注释掉。
2、找到其76到81行 用/* ....*/注释掉。
3、找到其390到 391 行，用/* ....*/注释掉。
二、安装 Cluster-Resource-Agents-agents-1.0.3
#tar -jxf Cluster-Resource-Agents-agents-1.0.3.tar.bz2
#cd Cluster-Resource-Agents-agents-1.0.3
#./autogen.sh
#./configure
#make
#make install
三、安装 Heartbeat-3-0-STABLE-3.0.3.tar.bz2
# tar -jxf Heartbeat-3-0-STABLE-3.0.3.tar.bz2
#cd Heartbeat-3-0-STABLE-3.0.3
#./bootstrap
#./ConfigureMe configure
#make
#make install
编辑配置文件
# cp /usr/share/doc/ha.cf /etc/ha.d/
#cp /usr/share/doc/haresources /etc/ha.d/
#cp /usr/share/doc/authkeys /etc/ha.d/
heartbeat的配置文件有两个位置/etc/ha.d与/usr/etc/ha.d，将/usr/etc/ha.d中文件全部copy到/etc/ha.d中，删除/usr/etc/ha.d，然后使用命令ln -s /etc/ha.d /usr/etc/ha.d创建软连接
1、配置ha.cf
debugfile /var/log/ha-debug：该文件保存heartbeat的调试信息
logfile /var/log/ha-log：heartbeat的日志文件
keepalive 2：心跳的时间间隔，默认时间单位为秒
deadtime 30：超出该时间间隔未收到对方节点的心跳，则认为对方已经死亡。
warntime 10：超出该时间间隔未收到对方节点的心跳，则发出警告并记录到日志中。
initdead 120：在某些系统上，系统启动或重启之后需要经过一段时间网络才能正常工作，该选项用于解决这种情况产生的时间间隔。取值至少为deadtime的两倍。
udpport 694：设置广播通信使用的端口，694为默认使用的端口号。
baud 19200：设置串行通信的波特率。
serial /dev/ttyS0：选择串行通信设备，用于双机使用串口线连接的情况。如果双机使用以太网连接，则应该关闭该选项。
bcast eth0：设置广播通信所使用的网络接口卡。
auto_failback on：heartbeat的两台主机分别为主节点和从节点。主节点在正常情况下占用资源并运行所有的服务，遇到故障时把资源交给从节点并由从节点运行服务。在该选项设为on的情况下，一旦主节点恢复运行，则自动获取资源并取代从节点，否则不取代从节点。
ping ping-node1 ping-node2：指定ping node，ping node并不构成双机节点，它们仅仅用来测试网络连接。
respawn hacluster /usr/lib/heartbeat/ipfail：指定与heartbeat一同启动和关闭的进程，该进程被自动监视，遇到故障则重新启动。最常用的进程是ipfail，该进程用于检测和处理网络故障，需要配合ping语句指定的ping node来检测网络连接。
2、 配置haresources文件
haresources文件用于指定双机系统的主节点、集群IP、子网掩码、广播地址以及启动的服务等。其配置语句格式如下：
node-name network-config <resource-group>
其中node-name指定双机系统的主节点，取值必须匹配ha.cf文件中node选项设置的主机名中的一个，node选项设置的另一个主机名成为从节点。network-config用于设置VIP（虚拟IP，也就是真正对外提供服务的IP）。resource-group用于设置heartbeat启动的服务，该服务最终由双机系统通过集群IP对外提供。
这次试验中的配置如下：
Linux-Master 10.10.50.216 httpd
3、配置authkeys文件
authkeys文件用于heartbeat的鉴权设置，共有三种可用的鉴权方式：crc、md5和sha1。三种方式安全性依次提高，但同时占用的系统资源也依次扩大。crc安全性最低，适用于物理上比较安全的网络，sha1提供最为有效的鉴权方式，占用的系统资源也最多。
其配置语句格式如下：
auth <number>
<number> <authmethod> [<authkey>]
举例说明：
auth 1
1 sha1 key-for-sha1
其中键值key-for-sha1可以任意指定，number设置必须保证上下一致。
auth 2
2 crc
crc方式不需要指定键值。
最后，设置authkeys文件权限为600（即-rw-------），命令为：chmod 600 authkeys
启动服务
#/etc/init.d/heartbeat start
另外有两个比较有用的脚本
/usr/share/heartbeat/hb_standby #强制将资源漂移到备份节点
/usr/share/heartbeat/hb_takeover #强制将资源漂移到主节点
===============================================================
LVS
安装步骤
#tar zxvf ipvsadm-1.24.tar.gz
#cd ipvsadm-1.24
#ln -s /usr/src/kernels/2.6.18-164.el5-i686/ /usr/src/linux
#make && make install
#cp /usr/local/src/Cluster-Resource-Agents-agents-1.0.3/ldirectord/ldirectord.cf /etc/ha.d/
配置ldirectord.cf
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
|
# Global Directives
checktimeout=10
checkinterval=3
#fallback=127.0.0.1:80
autoreload=yes
#logfile="/var/log/ldirectord.log"
#logfile="local0"
#emailalert="[email protected]"
#emailalertfreq=3600
#emailalertstatus=all
quiescent=
no
# Sample for an http virtual service
virtual=10.10.50.216:80
real=10.10.50.197:80 gate
real=10.10.50.215:80 gate
fallback=127.0.0.1:80 gate
service=http
scheduler=wlc
#persistent=600
#netmask=255.255.255.255
protocol=tcp
checktype=negotiate
checkport=80
request=
"check.html"
receive=
"OKAY"
#virtualhost=www.x.y.z
|
LVS脚本，在Linux-master、Linux-slave上运行
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
|
#!/bin/sh
#director.sh
VIP=10.10.50.216
RIP1=10.10.50.197
RIP2=10.10.50.215
. /etc/rc.d/init.d/functions
case
"$1"
in
start)
echo
" start LVS of DirectorServer"
/sbin/ifconfig eth0:0
$VIP
broadcast
$VIP
netmask 255.255.255.255 up
/sbin/route add -host
$VIP
dev eth0:0
/sbin/ipvsadm -C
/sbin/ipvsadm -A -t
$VIP
:80 -s wlc
/sbin/ipvsadm -a -t
$VIP
:80 -r
$RIP1
:80 -g
/sbin/ipvsadm -a -t
$VIP
:80 -r
$RIP2
:80 -g
/sbin/ipvsadm
;;
stop)
echo
"close LVS Directorserver"
ifconfig eth0:0 down
/sbin/ipvsadm -C
;;
*)
echo
"Usage: $0 {start|stop}"
exit
1
esac
|
客户端脚本，在Linux-web-01、Linux-web-02上运行
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
|
#!/bin/sh
#realserver.sh
VIP=10.10.50.216
. /etc/rc.d/init.d/functions
case
"$1"
in
start)
echo
"Tunl port starting"
/sbin/ifconfig lo:0
$VIP
netmask 255.255.255.255 broadcast
$VIP
up
/sbin/route add -host
$VIP
dev lo:0
echo
"1"
>/proc/sys/net/ipv4/conf/tunl0/arp_ignore
echo
"2"
>/proc/sys/net/ipv4/conf/tunl0/arp_announce
echo
"1"
>/proc/sys/net/ipv4/conf/all/arp_ignore
echo
"2"
>/proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p
;;
stop)
echo
"Tunl port closing"
ifconfig lo:0 down
;;
*)
echo
"Usage: $0 {start|stop}"
exit
1
esac
|
我这里客户端上的WEB程序选用的是Nginx，在客户端输入
#echo "OKAY" > /usr/local/nginx/html/check.html
ipvsadm 的用法和格式如下：
ipvsadm -A|E -t|u|f virutal-service-address:port [-s scheduler] [-p
[timeout]] [-M netmask]
ipvsadm -D -t|u|f virtual-service-address
ipvsadm -C
ipvsadm -R
ipvsadm -S [-n]
ipvsadm -a|e -t|u|f service-address:port -r real-server-address:port
[-g|i|m] [-w weight]
ipvsadm -d -t|u|f service-address -r server-address
ipvsadm -L|l [options]
ipvsadm -Z [-t|u|f service-address]
ipvsadm --set tcp tcpfin udp
ipvsadm --start-daemon state [--mcast-interface interface]
ipvsadm --stop-daemon
ipvsadm -h
命令选项解释：
有两种命令选项格式，长的和短的，具有相同的意思。在实际使用时，两种都可
以。
-A --add-service 在内核的虚拟服务器表中添加一条新的虚拟服务器记录。也就是增加一台新的虚拟服务器。
-E --edit-service 编辑内核虚拟服务器表中的一条虚拟服务器记录。
-D --delete-service 删除内核虚拟服务器表中的一条虚拟服务器记录。
-C --clear 清除内核虚拟服务器表中的所有记录。
-R --restore 恢复虚拟服务器规则
-S --save 保存虚拟服务器规则，输出为-R 选项可读的格式
-a --add-server 在内核虚拟服务器表的一条记录里添加一条新的真实服务器记录。也就是在一个虚拟服务器中增加一台新的真实服务器
-e --edit-server 编辑一条虚拟服务器记录中的某条真实服务器记录
-d --delete-server 删除一条虚拟服务器记录中的某条真实服务器记录
-L|-l --list 显示内核虚拟服务器表
-Z --zero 虚拟服务表计数器清零（清空当前的连接数量等）
--set tcp tcpfin udp 设置连接超时值
--start-daemon 启动同步守护进程。他后面可以是master 或backup，用来说明LVS Router 是master 或是backup。在这个功能上也可以采用keepalived 的
VRRP 功能。
--stop-daemon 停止同步守护进程
-h --help 显示帮助信息
其他的选项:
-t --tcp-service service-address 说明虚拟服务器提供的是tcp 的服务[vip:port] or [real-server-ip:port]
-u --udp-service service-address 说明虚拟服务器提供的是udp 的服务[vip:port] or [real-server-ip:port]
-f --fwmark-service fwmark 说明是经过iptables 标记过的服务类型。
-s --scheduler scheduler 使用的调度算法，有这样几个选项
rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq,
默认的调度算法是： wlc.
-p --persistent [timeout] 持久稳固的服务。这个选项的意思是来自同一个客户的多次请求，将被同一台真实的服务器处理。timeout 的默认值为300 秒。
-M --netmask netmask persistent granularity mask
-r --real-server server-address 真实的服务器[Real-Server:port]
-g --gatewaying 指定LVS 的工作模式为直接路由模式（也是LVS 默认的模式）
-i --ipip 指定LVS 的工作模式为隧道模式
-m --masquerading 指定LVS 的工作模式为NAT 模式
-w --weight weight 真实服务器的权值
--mcast-interface interface 指定组播的同步接口
-c --connection 显示LVS 目前的连接 如：ipvsadm -L -c
--timeout 显示tcp tcpfin udp 的timeout 值 如：ipvsadm -L --timeout
--daemon 显示同步守护进程状态
--stats 显示统计信息
--rate 显示速率信息
--sort 对虚拟服务器和真实服务器排序输出
--numeric -n 输出IP 地址和端口的数字形式