Mysql 基于 MHA 的高可用架构的实现

主机环境：rhel7.3 selinux and firewalld disabled

主机名	ip	服务
server3	172.25.254.3	mysql
server4	172.25.254.4	mysql
server1	172.25.254.1	mysql
server2	172.25.254.2	MHA manager

一、基础概念

MHA（Master High Availability）目前在MySQL高可用方面是一个相对成熟的解决方案，它由日本DeNA公司youshimaton（现就职于Facebook公司）开发，是一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可用软件。在MySQL故障切换过程中，MHA能做到在0~30秒之内自动完成数据库的故障切换操作，并且在进行故障切换的过程中，MHA能在最大程度上保证数据的一致性，以达到真正意义上的高可用。

该软件由两部分组成：MHA Manager（管理节点）和MHA Node（数据节点）。MHA Manager可以单独部署在一台独立的机器上管理多个master-slave集群，也可以部署在一台slave节点上。MHA Node运行在每台MySQL服务器上，MHA Manager会定时探测集群中的master节点，当master出现故障时，它可以自动将最新数据的slave提升为新的master，然后将所有其他的slave重新指向新的master。整个故障转移过程对应用程序完全透明。

在MHA自动故障切换过程中，MHA试图从宕机的主服务器上保存二进制日志，最大程度的保证数据的不丢失，但这并不总是可行的。例如，如果主服务器硬件故障或无法通过ssh访问，MHA没法保存二进制日志，只进行故障转移而丢失了最新的数据。使用MySQL 5.5的半同步复制，可以大大降低数据丢失的风险。MHA可以与半同步复制结合起来。如果只有一个slave已经收到了最新的二进制日志，MHA可以将最新的二进制日志应用于其他所有的slave服务器上，因此可以保证所有节点的数据一致性。

目前MHA主要支持一主多从的架构，要搭建MHA,要求一个复制集群中必须最少有三台数据库服务器，一主二从，即一台充当master，一台充当备用master，另外一台充当从库，因为至少需要三台服务器，出于机器成本的考虑，淘宝也在该基础上进行了改造，目前淘宝TMHA已经支持一主一从。

参考：https://www.cnblogs.com/gomysql/p/3675429.html

搭建步骤：

前提：server3、server4、server1做好GTID的主从复制，一主两从

在server3上(主)：
[root@server3 ~]# systemctl stop mysqld
[root@server3 ~]# rm -rf /var/lib/mysql/*
[root@server3 ~]# vim /etc/my.cnf

[root@server3 ~]# systemctl start mysqld
[root@server3 ~]# cat /var/log/mysqld.log | grep password
[root@server3 ~]# mysql_secure_installation
[root@server3 ~]# mysql -uroot -pWestos+001

在server4上（从）（server1同操作）
[root@server4 ~]# systemctl stop mysqld
[root@server4 ~]# rm -rf /var/lib/mysql/*
[root@server4 ~]# vim /etc/my.cnf

[root@server4 ~]# cat /var/log/mysqld.log | grep password
[root@server4 ~]# mysql_secure_installation
[root@server4 ~]# mysql -uroot -pWestos+001

搭建步骤：

1.获取资源，安装MHA-manager

[root@server2 MHA-7]# yum install -y mha4mysql-manager-0.58-0.el7.centos.noarch.rpm perl-* mha4mysql-node-0.58-0.el7.centos.noarch.rpm

2.在其他虚拟机上安装MHA-node资源包（server3、server4、server1）

[root@server3 MHA-7]# yum install -y mha4mysql-node-0.58-0.el7.centos.noarch.rpm
[root@server4 MHA-7]# yum install -y mha4mysql-node-0.58-0.el7.centos.noarch.rpm
[root@server1 MHA-7]# yum install -y mha4mysql-node-0.58-0.el7.centos.noarch.rpm

3.在MHA-manager上配置免密访问（让server2连接server3、4、1都免密）

[root@server2 MHA-7]# ssh-keygen	##先生成密钥

[root@server2 MHA-7]# ssh-copy-id server3	#发送密钥
[root@server2 MHA-7]# ssh-copy-id server4
[root@server2 MHA-7]# ssh-copy-id server1

4.在MHA-manager上配置mha工作目录及配置文件

[root@server2 MHA-7]# mkdir /etc/masterha
[root@server2 MHA-7]# vim /etc/masterha/app1.cnf
[server default]
manager_workdir=/etc/masterha
manager_log=/var/log/masterha.log  # manager 日志文件
master_binlog_dir=/etc/masterha
#master_ip_failover_script= /usr/local/bin/master_ip_failover
#master_ip_online_change_script= /usr/local/bin/master_ip_online_change
password=Westos+001  #MySQL管理帐号和密码
user=root
ping_interval=1
remote_workdir=/tmp
repl_password=Westos+001
repl_user=repl  # 复制帐号和密码
#report_script=/usr/local/send_report
#secondary_check_script= /usr/local/bin/masterha_secondary_check -s server03 -s server02
#shutdown_script=""
ssh_user=root # 系统ssh用户

[server1]
hostname=172.25.254.3
port=3306

[server2]
hostname=172.25.254.4
port=3306
candidate_master=1
check_repl_delay=0

[server3]
hostname=172.25.254.1
port=3306
no_master=1     ##no_master表示这个节点不能作为master

5.检测ssh配置

检查MHA Manger到所有MHA Node的SSH连接状态：

[root@server2 MHA-7]# masterha_check_ssh --conf=/etc/masterha/app1.cnf

发现报错，server3 4 1互相之间不免密

拷贝server2上的密钥给server3 4 1,重新进行检测

[root@server2 ~]# scp -r .ssh server3:
[root@server2 ~]# scp -r .ssh server4:
[root@server2 ~]# scp -r .ssh server1:

[root@server2 ~]# masterha_check_ssh --conf=/etc/masterha/app1.cnf

可以看见各个节点ssh验证都是ok的。

6.检查整个复制环境状况

通过masterha_check_repl脚本查看整个集群的状态

[root@server2 ~]# masterha_check_repl --conf=/etc/masterha/app1.cnf

发现有报错
Fri Mar 22 10:03:45 2019 - [error][/usr/share/perl5/vendor_perl/MHA/Server.pm, ln180] Got MySQL error when connecting 172.25.0.2(172.25.0.2:3306) :1130:Host ‘server4’ is not allowed to connect to this MySQL server, but this is not a MySQL crash. Check MySQL server settings.

这是因为server2默认是用root远程连接数据库，但是在配置数据库是已经禁用了root的远程连接

解决办法：

在主库上授权用户

[root@server3 MHA-7]# mysql -uroot -pWestos+001
mysql> grant all on *.* to root@'%' identified by 'Westos+001';

再次检测：
[root@server2 ~]# masterha_check_repl --conf=/etc/masterha/app1.cnf

7.开启MHA Manager监控，并将它打入后台

[root@server2 ~]# nohup masterha_manager --conf=/etc/masterha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/masterha.log 2>&1 &

–remove_dead_master_conf 该参数代表当发生主从切换后，老的主库的ip将会从配置文件中移除。

–manger_log 日志存放位置

–ignore_last_failover 在缺省情况下，如果MHA检测到连续发生宕机，且两次宕机间隔不足8小时的话，则不会进行Failover，之所以这样限制是为了避免ping-pong效应。该参数代表忽略上次MHA触发切换产生的文件，默认情况下，MHA发生切换后会在日志目录，也就是上面我设置的/data产生app1.failover.complete文件，下次再次切换的时候如果发现该目录下存在该文件将不允许触发切换，除非在第一次切换后收到删除该文件，为了方便，这里设置为–ignore_last_failover。

测试:

测试手动failover(故障转移)切换

先关闭manager，不关的话切不了，manager就是自动切换的工具

[root@server2 ~]# masterha_stop --conf=/etc/masterha/app1.cnf

操作1：模拟server3的主库挂掉：
[root@server3 MHA-7]# systemctl stop mysqld

在MHA-manager上手动切换节点（master由3换4）死切
（‘手动切换之前，需要保证主从同步正常，repl复制用户能够远程连接’）

[root@server2 ~]# masterha_master_switch --master_state=dead --conf=/etc/masterha/app1.cnf --dead_master_host=172.25.254.3 --dead_master_ip=172.25.254.3 --dead_master_port=3306 --new_master_host=172.25.254.4 --new_master_port=3306

窗口交互输入yes

切换成功后，可以在server1上看到它的master已经变成了server4
而server4已经是master了

再手动开启server3，作为slave加入集群

[root@server3 ~]# systemctl start mysqld

mysql> CHANGE MASTER TO MASTER_HOST = ‘172.25.254.4’, MASTER_USER = ‘repl’, MASTER_PASSWORD = ‘Westos+001’, MASTER_AUTO_POSITION = 1;

mysql> start slave;

mysql> show slave status\G

至此完成了一次手动切换

操作2：手动在线切换，活切（操作1是master挂掉后切换）
让server3重新成为主master

[root@server2 ~]# masterha_master_switch --conf=/etc/masterha/app1.cnf --master_state=alive --new_master_host=172.25.254.3 --new_master_port=3306 --orig_master_is_new_slave --running_updates_limit=10000

配置在线切换

配置脚本和vip漂移

因为用户访问入口只能有一个master，所以需要配置vip

先实现半自动在线切换 ：需要删除app1.failover.complete

[root@server2 masterha]# pwd
/etc/masterha
[root@server2 masterha]# rm -rf app1.failover.complete

1.修改MHA-manager的配置文件

[root@server2 masterha]# ls
app1.cnf
[root@server2 masterha]# vim app1.cnf
5 master_ip_failover_script= /usr/local/bin/master_ip_failover
6 master_ip_online_change_script= /usr/local/bin/master_ip_online_change

2.配置在线切换需要的脚本
编辑master_ip_failover 和 master_ip_online_change 两个脚本

[root@server2 mysql]# vim master_ip_failover
11 my $vip = '172.25.254.100/24';
13 my $ssh_start_vip = "/sbin/ip addr add $vip dev eth0";
14 my $ssh_stop_vip = "/sbin/ip addr del $vip dev eth0";
[root@server2 mysql]# vim master_ip_online_change
7 my $vip = '172.25.254.100/24';  # Virtual IP
9 my $ssh_start_vip = "/sbin/ip addr add $vip dev eth0";
10 my $ssh_stop_vip = "/sbin/ip addr del $vip dev eth0";

3.将脚本发送到系统下，赋予权限

[root@server2 mysql]# cp master_ip_failover master_ip_online_change /usr/local/bin
[root@server2 mysql]# cd /usr/local/
[root@server2 local]# cd bin/
[root@server2 bin]# chmod +x master_ip_failover master_ip_online_change

目前server3是master，所以先给server3添加vip

[root@server3 MHA-7]# ip addr add 172.25.254.100/24 dev eth0

测试：测试vip漂移

[root@server2 bin]# masterha_master_switch --conf=/etc/masterha/app1.cnf --master_state=alive --new_master_host=172.25.254.4 --new_master_port=3306 --orig_master_is_new_slave --running_updates_limit=10000

此时master由server3换到server4，所以vip此时应该在server4上

全自动切换的实现：需要删除app1.failover.complete

在server2上先删除app1.failover.complete

1.开启MHA-manager服务

[root@server2 masterha]# nohup masterha_manager --conf=/etc/masterha/app1.cnf &>/dev/null &

2.在master（server4）上关闭mysql，模拟故障
[root@server4 MHA-7]# systemctl stop mysqld

测试：

在server2（MHA-manager）上查看日志
[root@server2 masterha]# cat /var/log/masterha.log