作者：张 发表于：2014-08-19
版权声明：可以任意转载，转载时请务必以超链接形式标明文章原始出处和作者信息及本版权声明
(http://blog.csdn.net/mrz001 )
利用keepalived构建master-master MySQL高可用
今天我们将介绍利用keepalived构建高可用MySQL-HA，保证两台MySQL数据的一致性，然后用keepalived实现虚拟IP，通过keepalived自带的服务监控功能来实现MySQL故障时自动切换。
关于MySQL-HA，目前有多种解决方案，比如heartbeat、drbd、mmm、共享存储，但是它们各有优缺点。heartbeat、drbd配置较为复杂，需要自己写脚本才能实现MySQL自动切换，对于不会脚本语言的人来说，这无疑是一种脑裂问题；对于mmm，生产环境中很少有人用，且mmm 管理端需要单独运行一台服务器上，要是想实现高可用，就得对mmm管理端做HA，这样无疑又增加了硬件开支；对于共享存储，个人觉得MySQL数据还是放在本地较为安全，存储设备毕竟存在单点隐患。使用MySQL双master+keepalived是一种非常好的解决方案，在MySQL-HA环境中，MySQL互为主从关系，这样就保证了两台MySQL数据的一致性，然后用keepalived实现虚拟IP，通过keepalived自带的服务监控功能来实现MySQL故障时自动切换。
MySQL-H,环境拓扑如下
1. MySQL-VIP：10.10.10.10
2. MySQL-master1：10.10.10.103
3. MySQL-master2：10.10.10.104
4.
5. OS版本：CentOS 5.6
6. MySQL版本：5.1.73
7. Keepalived版本：1.2.7
安装MySQL与keepalived软件
yuminstall -y mysql-server
yuminstall -y keepalived
安装完MySQL需要第一次启动初始化数据库
/etc/init.d/mysqldstart
chkconfigmysqld on
在主备两台上均初始化数据库
mysqladmin-u root password root
mysql-uroot -proot
mysql> create database cinder default charset utf8;
mysql> create database glance default charset utf8;
mysql> create database keystone default charset utf8;
mysql> create database nova default charset utf8;
mysql> create database ovs_neutron default charsetutf8;
mysql> grantreplication slave on *.* to 'replication'@'%' identified by 'replication';
一、MySQL master-master配置
1、修改MySQL配置文件
主从MySQL均需要开启binlog日志功能，开启方法：在MySQL配置文件[MySQLd]段中加上log-bin=MySQL-bin选项
两台MySQL的server-ID不能一样，默认情况下两台MySQL的serverID都是1，需将其中一台修改为2即可
主机10.10.10.103配置增加
#asmaster
server-id=1 #服务器id (主从必须不一样)
log-bin=mysql-bin #打开日志(主机需要打开)，这个mysql-bin也可以自定义，这里也可以加上路径，如：/opt/mysql_bin_log/mysql-bin
binlog-do-db=mysql # 记录日志的数据库 ： 需要的备份数据 ， 多个写多行
binlog-do-db=cinder
binlog-do-db=glance
binlog-do-db=keystone
binlog-do-db=nova
binlog-do-db=ovs_neutron
binlog-ignore-db=test# 不记录日志的数据库 ： 不需要备份的数据库 ， 多个写多行
binlog-ignore-db=information_schema
#asslave
replicate-do-db=mysql # 只复制某个库 ， 多个写多行
replicate-do-db=cinder
replicate-do-db=glance
replicate-do-db=keystone
replicate-do-db=nova
replicate-do-db=ovs_neutron
replicate-ignore-db=test# 不复制某个库， 多个写多行
replicate-ignore-db=information_schema
relay-log=mysqld-relay-bin # 开启日志中继
log-slave-updates=1 # 启用从机服务器上的slave日志功能，使这台计算机可以用来构成一个镜像链(A->B->C)
#5.5
#log-slave-updates= ON
#5.1
#log-slave-updates= 1
slave-skip-errors # 跳过错误，从机一般应该配置该项
expire_logs_days=2 # 自动清理 2 天前的log文件，可根据需要修改
# 自增字段奇数递增 ， 防止冲突 （1, 3, 5, ...,）
#auto-increment-increment= 2 # 每次递增的步长
#auto-increment-offset= 1 # 初始值
从机10.10.10.104配置增加
#asmaster
server-id=2 #服务器id (主从必须不一样)
log-bin=mysql-bin #打开日志(主机需要打开)，这个mysql-bin也可以自定义，这里也可以加上路径，如：/opt/mysql_bin_log/mysql-bin
binlog-do-db=mysql # 记录日志的数据库 ： 需要的备份数据 ， 多个写多行
binlog-do-db=cinder
binlog-do-db=glance
binlog-do-db=keystone
binlog-do-db=nova
binlog-do-db=ovs_neutron
binlog-ignore-db=test# 不记录日志的数据库 ： 不需要备份的数据库 ， 多个写多行
binlog-ignore-db=information_schema
#asslave
replicate-do-db=mysql # 只复制某个库 ， 多个写多行
replicate-do-db=cinder
replicate-do-db=glance
replicate-do-db=keystone
replicate-do-db=nova
replicate-do-db=ovs_neutron
replicate-ignore-db=test# 不复制某个库， 多个写多行
replicate-ignore-db=information_schema
relay-log=mysqld-relay-bin # 开启日志中继
log-slave-updates=1 # 启用从机服务器上的slave日志功能，使这台计算机可以用来构成一个镜像链(A->B->C)
#5.5
#log-slave-updates= ON
#5.1
#log-slave-updates= 1
slave-skip-errors # 跳过错误，从机一般应该配置该项
expire_logs_days=2 # 自动清理 2 天前的log文件，可根据需要修改
# 自增字段奇数递增 ， 防止冲突 （1, 3, 5, ...,）
#auto-increment-increment= 2 # 每次递增的步长
#auto-increment-offset= 1 # 初始值
主从服务器重启MySQL服务
/etc/init.d/mysqldrestart
2、导出已有数据
如果主机上已经有数据，则需要手动同步到备机。锁定数据库 ， 不要退出 mysql shell
mysql>flush tables with read lock;
新开一个终端 ， 导出数据库
mysqldump--master-data -uroot -p mysql --events > mysql.sql
查看主服务器的状态
mysql> showmaster status\G;
*************************** 1. row***************************
File:mysql-bin.000002
Position:106
Binlog_Do_DB:mysql,cinder,glance,keystone,nova,ovs_neutron
Binlog_Ignore_DB: test,information_schema
1 row in set (0.00 sec)
ERROR:
No query specified
记下Position 和 File 的值 然后解锁
mysql> unlock tables;
复制mysql.sql到备机并导入
在10.10.10.104上执行导入数据库
mysql -uroot -p mysql< mysql.sql
3、将10.10.10.103设为10.10.10.104的主服务器
在10.10.10.104上将10.10.10.103设为自己的主服务器，这里master_log_file='mysql-bin.000002',master_log_pos=106为上一次操作中记的值
mysql> slavestop;
mysql> changemaster to master_host='10.10.10.103',master_user='replication',master_password='replication',master_log_file='mysql-bin.000002',master_log_pos=106;
Query OK, 0 rowsaffected (0.05 sec)
mysql> startslave;
Query OK, 0 rowsaffected (0.00 sec)
mysql> showslave status\G
***************************1. row ***************************
Slave_IO_State: Waiting formaster to send event
Master_Host: 10.10.10.103
Master_User: replication
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysql-bin.000002
Read_Master_Log_Pos: 106
Relay_Log_File:mysqld-relay-bin.000002
Relay_Log_Pos: 251
Relay_Master_Log_File: mysql-bin.000002
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
Replicate_Do_DB:mysql,cinder,glance,keystone,nova,ovs_neutron
Replicate_Ignore_DB:test,information_schema
Replicate_Do_Table:
Replicate_Ignore_Table:
Replicate_Wild_Do_Table:
Replicate_Wild_Ignore_Table:
Last_Errno: 0
Last_Error:
Skip_Counter: 0
Exec_Master_Log_Pos: 106
Relay_Log_Space: 407
Until_Condition: None
Until_Log_File:
Until_Log_Pos: 0
Master_SSL_Allowed: No
Master_SSL_CA_File:
Master_SSL_CA_Path:
Master_SSL_Cert:
Master_SSL_Cipher:
Master_SSL_Key:
Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert:No
Last_IO_Errno: 0
Last_IO_Error:
Last_SQL_Errno: 0
Last_SQL_Error:
1 row in set (0.00sec)
4、将10.10.10.104设为10.10.10.103的主服务器
在10.10.10.104上查看master状态
mysql> showmaster status;
+------------------+----------+-----------------------------------------------+-------------------------+
| File | Position | Binlog_Do_DB |Binlog_Ignore_DB |
+------------------+----------+-----------------------------------------------+-------------------------+
| mysql-bin.000002| 106 |mysql,cinder,glance,keystone,nova,ovs_neutron | test,information_schema |
+------------------+----------+-----------------------------------------------+-------------------------+
1 row in set (0.00sec)
在10.10.10.103上，将10.10.10.104设为自己的主服务器
mysql> changemaster to master_host='10.10.10.104',master_user='replication',master_password='replication',master_log_file='mysql-bin.000002',master_log_pos=106;
Query OK, 0 rowsaffected (0.05 sec)
mysql> startslave;
Query OK, 0 rowsaffected (0.00 sec)
mysql> showslave status\G
***************************1. row ***************************
Slave_IO_State:
Master_Host: 10.10.10.104
Master_User: replication
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysql-bin.000002
Read_Master_Log_Pos: 106
Relay_Log_File:mysqld-relay-bin.000001
Relay_Log_Pos: 4
Relay_Master_Log_File: mysql-bin.000002
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
Replicate_Do_DB:mysql,cinder,glance,keystone,nova,ovs_neutron
Replicate_Ignore_DB:test,information_schema
Replicate_Do_Table:
Replicate_Ignore_Table:
Replicate_Wild_Do_Table:
Replicate_Wild_Ignore_Table:
Last_Errno: 0
Last_Error:
Skip_Counter: 0
Exec_Master_Log_Pos: 106
Relay_Log_Space: 106
Until_Condition: None
Until_Log_File:
Until_Log_Pos: 0
Master_SSL_Allowed: No
Master_SSL_CA_File:
Master_SSL_CA_Path:
Master_SSL_Cert:
Master_SSL_Cipher:
Master_SSL_Key:
Seconds_Behind_Master: NULL
Master_SSL_Verify_Server_Cert:No
Last_IO_Errno: 0
Last_IO_Error:
Last_SQL_Errno: 0
Last_SQL_Error:
1 row in set (0.00sec)
5、MySQL同步测试
如上述均正确配置，现在任何一台MySQL上更新数据都会同步到另一台MySQL，MySQL同步在此不再演示.此时在任意一台上导入以有的OpenStack数据库，并分配好用户权限访问即可。
二、keepalived安装及配置
1、10.10.10.103服务器上keepalived安装及配置
安装keepalived
配置keepalived
我们自己在新建一个配置文件，默认情况下keepalived启动时会去/etc/keepalived目录下找配置文件
#mkdir/etc/keepalived
#vi/etc/keepalived/keepalived.conf
! ConfigurationFile for keepalived
global_defs {
notification_email {
}
notification_email_from [email protected]
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id MySQL-ha
}
vrrp_instance VI_1{
state BACKUP #两台配置此处均是BACKUP
interface eth0
virtual_router_id 51
priority 100 #优先级，另一台改为90
advert_int 1
nopreempt #不抢占，只在优先级高的机器上设置即可，优先级低的机器不设置
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
10.10.10.10
}
}
virtual_server 10.10.10.103306 {
delay_loop 2 #每个2秒检查一次real_server状态
lb_algo wrr #LVS算法
lb_kind DR #LVS模式
persistence_timeout 60 #会话保持时间
protocol TCP
real_server 10.10.10.103 3306 {
weight 3
notify_down /etc/keepalived/MySQL.sh #检测到服务down后执行的脚本
TCP_CHECK {
connect_timeout 10 #连接超时时间
nb_get_retry 3 #重连次数
delay_before_retry 3 #重连间隔时间
connect_port 3306 #健康检查端口
}
}
编写检测服务down后所要执行的脚本
#vi /etc/keepalived/MySQL.sh
#!/bin/sh
pkillkeepalived
#chmod +x /etc/keepalived/MySQL.sh
注：此脚本是上面配置文件notify_down选项所用到的，keepalived使用notify_down选项来检查real_server的服务状态，当发现real_server服务故障时，便触发此脚本；我们可以看到，脚本就一个命令，通过pkillkeepalived强制杀死keepalived进程，从而实现了MySQL故障自动转移。另外，我们不用担心两个MySQL会同时提供数据更新操作，因为每台MySQL上的keepalived的配置里面只有本机MySQL的IP+VIP，而不是两台MySQL的IP+VIP
启动keepalived
chkconfig keepalivedon
/etc/init.d/keepalivedstart
初步测试
找一台局域网PC，然后去ping MySQL的VIP，这时候MySQL的VIP是可以ping的通的
停止MySQL服务，看keepalived健康检查程序是否会触发我们编写的脚本
2、10.10.10.104上keepalived安装及配置
安装keepalived
配置keepalived
这台配置和上面基本一样，但有三个地方不同：优先级为90、无抢占设置、real_server为本机IP
#mkdir/etc/keepalived
#vi/etc/keepalived/keepalived.conf
! ConfigurationFile for keepalived
global_defs {
notification_email {
}
notification_email_from [email protected]
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id MySQL-ha
}
vrrp_instance VI_1{
state BACKUP
interface eth0
virtual_router_id 51
priority 90
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
10.10.10.10
}
}
virtual_server 10.10.10.103306 {
delay_loop 2
lb_algo wrr
lb_kind DR
persistence_timeout 60
protocol TCP
real_server 10.10.10.104 3306 {
weight 3
notify_down /etc/keepalived/MySQL.sh
TCP_CHECK {
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
connect_port 3306
}
}
编写检测服务down后所要执行的脚本
#vi/etc/keepalived/MySQL.sh
#!/bin/sh
pkillkeepalived
#chmod +x/etc/keepalived/MySQL.sh
启动keepalived
chkconfig keepalivedon
/etc/init.d/keepalivedstart
测试
停止MySQL服务，看keepalived健康检查程序是否会触发我们编写的脚本