第1章 MySQL 高可用

主从高可用要求

1.监控所有节点

2.failover vip通知客户端

3.数据补偿功能

1.1 MHA简介

1、三台mysql独立节点实例，开启1主2从GTID复制结构

2、关闭各节点relay-log自动删除功能

3、各节点部署node工具包及依赖包

4、选择其中一个从节点进行部署manager工具包

5、各节点ssh秘钥互信配置

6、配置manager节点配置文件（注意在数据库中添加mha管理用户和密码）

7、做ssh互信检查和主从状态检查

8、开启MHA功能

-----------------

1.1.1 介绍

实现原理：MHA 是由日本Mysql 专家用Perl 写的一套Mysql 故障切换方案以保障数据库的高可用性，它的功能是能在0-30s 之内实现主Mysql 故障转移（failover），MHA 故障转移可以很好的帮我们解决从库数据的一致性问题，同时最大化挽回故障发生后的数据。MHA 里有两个角色一个是node 节点一个是manager 节点，要实现这个MHA，必须最少要三台数据库服务器，一主多备，即一台充当master，一台充当master 的备份机，另外一台是从属机，这里实验为了实现更好的效果使用四台机器，需要说明的是一旦主服务器宕机，备份机即开始充当master 提供服务，如果主服务器上线也不会再成为master 了，因为如果这样数据库的一致性就被改变了。

该软件由两部分组成：MHA Manager（管理节点）和MHA Node（数据节点）。MHA Manager 可以单独部署在一台独立的机器上管理多个master-slave 集群，也可以部署在一台slave 节点上。MHA Node 运行在每台MySQL 服务器上，MHA Manager 会定时探测集群中的master 节点，当master 出现故障时，它可以自动将最新数据的slave 提升为新的master，然后将所有其他的slave 重新指向新的master。整个故障转移过程对应用程序完全透明。在MHA 自动故障切换过程中，MHA 试图从宕机的主服务器上保存二进制日志，最大程度的保证数据的不丢失，但这并不总是可行的。例如，如果主服务器硬件故障或无法通过ssh 访问，MHA 没法保存二进制日志，只进行故障转移而丢失了最新的数据。使用MySQL 5.5 的半同步复制，可以大大降低数据丢失的风险。MHA 可以与半同步复制结合起来。如果只有一个slave 已经收到了最新的二进制日志，MHA 可以将最新的二进制日志应用于其他所有的slave服务器上，因此可以保证所有节点的数据一致性。

目前MHA 主要支持一主多从的架构，要搭建MHA,要求一个复制集群中必须最少有三台数据库服务器，一主二从，即一台充当master，一台充当备用master，另外一台充当从库，因为至少需要三台服务器，出于机器成本的考虑，淘宝也在该基础上进行了改造，目前淘宝TMHA 已经支持一主一从。

官方介绍：https://code.google.com/p/mysql-master-ha/

1.1.2 MHA工作流程

1．从宕机崩溃的master 保存二进制日志事件（binlog events）;

2．识别含有最新更新的slave；

3．应用差异的中继日志（relay log）到其他的slave；

4．应用从master 保存的二进制日志事件（binlog events）；

5．提升一个slave 为新的master；

6．使其他的slave 连接新的master 进行复制；

1.1.3 MHA架构图

1.1.4 MHA工具介绍

主要包括以下几个工具：

1．masterha_check_ssh 检查MHA 的SSH 配置状况

2．masterha_check_repl 检查MySQL 复制状况

3．masterha_manger 启动MHA

4．masterha_check_status 检测当前MHA 运行状态

5．masterha_master_monitor 检测master 是否宕机

6．masterha_master_switch 控制故障转移（自动或者手动）

7．masterha_conf_host 添加或删除配置的server 信息

Node 工具包

这些工具通常由MHA Manager 的脚本触发，无需人为操作）主要包括以下几个工具：

save_binary_logs 保存和复制master 的二进制日志

apply_diff_relay_logs 识别差异的中继日志事件并将其差异的事件应用于其他的slave

filter_mysqlbinlog 去除不必要的ROLLBACK 事件（MHA 已不再使用这个工具）

purge_relay_logs 清除中继日志（不会阻塞SQL 线程）

注意：

为了尽可能的减少主库硬件损坏宕机造成的数据丢失，因此在配置MHA 的同时建议配置成MySQL 5.5 的半同步复制。关于半同步复制原理各位自己进行查阅。（不是必须）

1.1.5 MHA优点

² 自动故障转移快

² 主库崩溃不存在数据一致性的问题

² 不需要对当前mysql环境做重大修改

² 不需要添加额外的服务器（仅一台master就可以管理上百个replication）

² 性能优秀，可工作在本同步复制和异步复制，当监控mysql状态时只需要每隔N秒向master发送ping包（默认3秒），所以对性能没有影响

² 只要replication支持的存储引擎，MHA都支持不会局限于innodb引擎。

1.2 配置主从GTID

1.2.1 先决条件

² 主库和从库都要开启binlog

² 主库和从库server-id不同

² 要有主从复制用户

1.2.2 修改配置文件开启GTID

主库：

log_bin=mysql-bin

server_id = 1
gtid-mode=on --启用gtid类型，否则就是普通的复制架构

enforce-gtid-consistency=true --强制GTID的一致性

log-slave-updates=1 --slave更新是否记入日志

slave01：

log_bin=mysql-bin

server_id = 2

gtid-mode=on

enforce-gtid-consistency=true

log-slave-updates
slave02:

log_bin=mysql-bin

server_id = 3
gtid-mode=on

enforce-gtid-consistency=true

log-slave-updates

1.2.3 数据库配置

主库：创建主从复制用户

grant replication slave on *.* to repl@'10.0.0.%' identified by '123';

从库开启

change master to master_host='10.0.0.51',master_user='repl',master_password='123' ,MASTER_AUTO_POSITION=1;

start slave;

mysql> show slave status\G

1.2.4 主从库设置

mysql> set global relay_log_purge = 0;#禁用自动删除relaylog
设置从库只读（不能再主库执行）
set global read_only=1;
在配置文件添加禁用自动删除relaylog功能
relay_log_purge = 0

1.3 部署MHA

1.3.1 基础环境

所有节点安装

root@mysql-db01 ~]# yum install perl-DBD-MySQL -y

rpm -ivh mha4mysql-node-0.56-0.el6.noarch.rpm

创建管理用户：

grant all privileges on *.* to mha@'10.0.0.5%' identified by 'mha';#主库执行从库也就也有了

命令软链接：三台都需要操作

[root@mysql-db01 tools]# ln -s /application/mysql/bin/mysqlbinlog /usr/bin/mysqlbinlog

[root@mysql-db01 tools]# ln -s /application/mysql/bin/mysql /usr/bin/mysql

1.3.2 部署管理节点（mha-master）

统一安装在10.0.0.53机器上（可以安装在一台从库，或者其他一台机器上不能使主库）

wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-6.repo

安装依赖
yum install -y perl-Config-Tiny epel-release perl-Log-Dispatch perl-Parallel-ForkManager perl-Time-HiRes
[root@mysql-db03 tools]# rpm -ivh mha4mysql-manager-0.56-0.el6.noarch.rpm

创建日志和配置文件目录

[root@mysql-db03 tools]# mkdir -p /var/log/mha/app1 可以管理多套主从复制

[root@mysql-db03 tools]# mkdir -p /etc/mha

创建配置文件(不需要的配置不要留着，注释没用,切换后会重写)

[root@mysql-db03 ~]# vim /etc/mha/app1.cnf
[server default]#全局主配置文件

[server default]
manager_log=/var/log/mha/app1/manager
manager_workdir=/var/log/mha/app1
master_binlog_dir=/data/mysql
user=mha
password=mha
ping_interval=2
repl_password=123
repl_user=repl
ssh_user=root

[server1]
hostname=10.0.0.51
port=3306

[server2]
hostname=10.0.0.52
port=3306

[server3]
hostname=10.0.0.53
port=3306

1.3.3 配置SSH信任（所有节点）

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa >/dev/null 2>&1

ssh-copy-id -i /root/.ssh/id_dsa.pub [email protected]

1.3.4 启动测试

[root@mysql-db03 ~]# masterha_check_ssh --conf=/etc/mha/app1.cnf 检测ssh

Sun Dec 10 12:35:17 2017 - [warning] Global configuration file /etc/masterha_default.cnf not found. Skipping.

Sun Dec 10 12:35:17 2017 - [info] Reading application default configuration from /etc/mha/app1.cnf..

Sun Dec 10 12:35:17 2017 - [info] Reading server configuration from /etc/mha/app1.cnf..

Sun Dec 10 12:35:17 2017 - [info] Starting SSH connection tests..

Sun Dec 10 12:35:18 2017 - [debug]

Sun Dec 10 12:35:18 2017 - [debug] Connecting via SSH from [email protected](10.0.0.51:22) to [email protected](10.0.0.52:22)..

Sun Dec 10 12:35:18 2017 - [debug] ok.

Sun Dec 10 12:35:18 2017 - [debug] Connecting via SSH from [email protected](10.0.0.51:22) to [email protected](10.0.0.53:22)..

Sun Dec 10 12:35:18 2017 - [debug] ok.

Sun Dec 10 12:35:19 2017 - [debug]

Sun Dec 10 12:35:18 2017 - [debug] Connecting via SSH from [email protected](10.0.0.52:22) to [email protected](10.0.0.51:22)..

Sun Dec 10 12:35:18 2017 - [debug] ok.

Sun Dec 10 12:35:18 2017 - [debug] Connecting via SSH from [email protected](10.0.0.52:22) to [email protected](10.0.0.53:22)..

Sun Dec 10 12:35:18 2017 - [debug] ok.

Sun Dec 10 12:35:19 2017 - [debug]

Sun Dec 10 12:35:19 2017 - [debug] Connecting via SSH from [email protected](10.0.0.53:22) to [email protected](10.0.0.51:22)..

Sun Dec 10 12:35:19 2017 - [debug] ok.

Sun Dec 10 12:35:19 2017 - [debug] Connecting via SSH from [email protected](10.0.0.53:22) to [email protected](10.0.0.52:22)..

Sun Dec 10 12:35:19 2017 - [debug] ok.

Sun Dec 10 12:35:19 2017 - [info] All SSH connection tests passed successfully.

1.3.5 检测主从

[root@mysql-db03 ~]# masterha_check_repl --conf=/etc/mha/app1.cnf 检测主从

Sun Dec 10 12:45:09 2017 - [warning] Global configuration file /etc/masterha_default.cnf not found. Skipping.

Sun Dec 10 12:45:09 2017 - [info] Reading application default configuration from /etc/mha/app1.cnf..

………………………

MySQL Replication Health is OK.

[root@mysql-db03 ~]#

1.3.6 启动mha

[root@mysql-db03 ~]# nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 &

[1] 2907

--remove_dead_master_conf #指定删除down机的server标签
--ignore_last_failover#忽略上一次切换
自动切换一次需要在八个小时之后才会切换

[root@mysql-db03 ~]#
[root@mysql-db03 ~]# masterha_check_status --conf=/etc/mha/app1.cnf

app1 (pid:2907) is running(0:PING_OK), master:10.0.0.51

[root@mysql-db03 ~]#

1.3.7 停止MHA

masterha_stop --conf=/etc/mha/app1.cnf

1.4 配置VIP漂移

[root@mysql-db03 ~]# vim /etc/mha/app1.cnf
[server default]

master_ip_failover_script=/usr/local/bin/master_ip_failover

将脚本添加到文件‘

cd /usr/local/bin/

mv /server/tools/master_ip_failover /usr/local/bin/
[root@mysql-db03 bin]# chmod +x master_ip_failover
[root@mysql-db03 bin]# dos2unix master_ip_failover

dos2unix: converting file master_ip_failover to UNIX format ...

内容

vim /usr/local/bin/master_ip_failover
添加内容。。。。
my $vip = '10.0.0.55/24';
my $key = '1';
my $ssh_start_vip = "/sbin/ifconfig eth0:$key $vip";
my $ssh_stop_vip = "/sbin/ifconfig eth0:$key down";

重启mha

[root@mysql-db03 ~]# masterha_stop --conf=/etc/mha/app1.cnf 停止

Stopped app1 successfully.

[1]+ Exit 1 nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 &

[root@mysql-db03 ~]#

[root@mysql-db03 bin]#

手工在主库上绑定vip，注意一定要和配置文件中的ethN一致，我的是eth0:1(1是key指定的值)
[root@mysql-db03 bin]# ifconfig eth0:1 10.0.0.55/24

[root@mysql-db03 bin]# nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 &

[1] 7841

[root@mysql-db03 bin]# masterha_check_status --conf=/etc/mha/app1.cnf

app1 (pid:7841) is running(0:PING_OK), master:10.0.0.52

[root@mysql-db03 bin]#

1.4.1 漂移脚本：

[root@mysql-db03 bin]# cat master_ip_failover

#!/usr/bin/env perl

use strict;

use warnings FATAL => 'all';

use Getopt::Long;

my (

$command, $ssh_user, $orig_master_host, $orig_master_ip,

$orig_master_port, $new_master_host, $new_master_ip, $new_master_port

);

my $vip = '10.0.0.55/24';

my $key = '0';

my $ssh_start_vip = "/sbin/ifconfig eth0:$key $vip";

my $ssh_stop_vip = "/sbin/ifconfig eth0:$key down";

GetOptions(

'command=s' => \$command,

'ssh_user=s' => \$ssh_user,

'orig_master_host=s' => \$orig_master_host,

'orig_master_ip=s' => \$orig_master_ip,

'orig_master_port=i' => \$orig_master_port,

'new_master_host=s' => \$new_master_host,

'new_master_ip=s' => \$new_master_ip,

'new_master_port=i' => \$new_master_port,

);

exit &main();

sub main {

print "\n\nIN SCRIPT TEST====$ssh_stop_vip==$ssh_start_vip===\n\n";

if ( $command eq "stop" || $command eq "stopssh" ) {

my $exit_code = 1;

eval {

print "Disabling the VIP on old master: $orig_master_host \n";

&stop_vip();

$exit_code = 0;

};

if ($@) {

warn "Got Error: $@\n";

exit $exit_code;

}

exit $exit_code;

}

elsif ( $command eq "start" ) {

my $exit_code = 10;

eval {

print "Enabling the VIP - $vip on the new master - $new_master_host \n";

&start_vip();

$exit_code = 0;

};

if ($@) {

warn $@;

exit $exit_code;

}

exit $exit_code;

}

elsif ( $command eq "status" ) {

print "Checking the Status of the script.. OK \n";

exit 0;

}

else {

&usage();

exit 1;

}

sub start_vip() {

`ssh $ssh_user\@$new_master_host \" $ssh_start_vip \"`;

}

sub stop_vip() {

return 0 unless ($ssh_user);

`ssh $ssh_user\@$orig_master_host \" $ssh_stop_vip \"`;

}

sub usage {

"Usage: master_ip_failover --command=start|stop|stopssh|status --orig_master_host=host --orig_master_ip=ip --orig_master_port=port --new_master_host=host --new_master_ip=ip --new_master_port=port\n";

}

[root@mysql-db03 bin]#

停掉主库

[root@mysql-db02 tools]# /etc/init.d/mysqld stop

开启mha

[root@mysql-db03 bin]# nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 &

[1] 8157

[root@mysql-db03 bin]# masterha_check_status --conf=/etc/mha/app1.cnf

app1 (pid:8157) is running(0:PING_OK), master:10.0.0.51此时主库是51那么漂移成功

[root@mysql-db03 bin]#

1.4.2 测试切换

打开日志

[root@mysql-db03 ~]# tail -f /var/log/mha/app1/manager

[root@mysql-db01 tools]# /etc/init.d/mysqld stop #停掉主库
注意：当主库当掉之后，MHA自动切换到一台机器后，MHA会自动关闭，需要修改后手动开启MHA

日志显示

Started automated(non-interactive) failover.

Selected 10.0.0.52(10.0.0.52:3306) as a new master.

10.0.0.52(10.0.0.52:3306): OK: Applying all logs succeeded.

10.0.0.53(10.0.0.53:3306): OK: Slave started, replicating from 10.0.0.52(10.0.0.52:3306)

10.0.0.52(10.0.0.52:3306): Resetting slave info succeeded.

Master failover to 10.0.0.52(10.0.0.52:3306) completed successfully.

1、修复旧master，并启动。

2、找到日志中的change master 语句，将旧的mater变成从

mysql> CHANGE MASTER TO MASTER_HOST='10.0.0.52', MASTER_PORT=3306, MASTER_AUTO_POSITION=1, MASTER_USER='rep', MASTER_PASSWORD='oldboy123';

Query OK, 0 rows affected, 2 warnings (0.12 sec)

mysql> start slave;

Query OK, 0 rows affected (0.01 sec)

3、添加配置文件中的server标签

[root@mysql-db03 ~]# vim /etc/mha/app1.cnf
[server1]

hostname=10.0.0.51

port=3306

4、启动mha查看状态

[root@mysql-db03 ~]# nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 &

[1] 6462

[root@mysql-db03 ~]# masterha_check_status --conf=/etc/mha/app1.cnf

app1 (pid:6462) is running(0:PING_OK), master:10.0.0.52

[root@mysql-db03 ~]#

指定切换到哪一台节点上

[server1]

hostname=10.0.0.51

port=3306

[server2]

#candidate_master=1在哪一个server标签上设置就会切换到哪一个机器。就不会按照binlog位置切换了。

#check_repl_delay=0

hostname=10.0.0.52

port=3306

[server3]

hostname=10.0.0.53

port=3306

#candidate_master=1

#check_repl_delay=0

1.4.3 配置文件详解

[server default]

#设置manager的工作目录

manager_workdir=/var/log/masterha/app1

#设置manager的日志

manager_log=/var/log/masterha/app1/manager.log

#设置master 保存binlog的位置，以便MHA可以找到master的日志，我这里的也就是mysql的数据目录

master_binlog_dir=/data/mysql

#设置自动failover时候的切换脚本

master_ip_failover_script= /usr/local/bin/master_ip_failover

#设置手动切换时候的切换脚本

master_ip_online_change_script= /usr/local/bin/master_ip_online_change

#设置mysql中root用户的密码，这个密码是前文中创建监控用户的那个密码

password=123456

#设置监控用户root

user=root

#设置监控主库，发送ping包的时间间隔，尝试三次没有回应的时候自动进行failover

ping_interval=1

#设置远端mysql在发生切换时binlog的保存位置

remote_workdir=/tmp

#设置复制用户的密码

repl_password=123456

#设置复制环境中的复制用户名

repl_user=rep

#设置发生切换后发送的报警的脚本

report_script=/usr/local/send_report

#一旦MHA到server02的监控之间出现问题，MHA Manager将会尝试从server03登录到server02

secondary_check_script= /usr/local/bin/masterha_secondary_check -s server03 -s server02 --user=root --master_host=server02 --master_ip=192.168.0.50

--master_port=3306

#设置故障发生后关闭故障主机脚本（该脚本的主要作用是关闭主机放在发生脑裂,这里没有使用）

shutdown_script=""

#设置ssh的登录用户名

ssh_user=root

[server1]

hostname=10.0.0.51

port=3306

[server2]

hostname=10.0.0.52

port=3306

#设置为候选master，如果设置该参数以后，发生主从切换以后将会将此从库提升为主库，即使这个主库不是集群中事件最新的slave

candidate_master=1

#默认情况下如果一个slave落后master 100M的relay logs的话，MHA将不会选择该slave作为一个新的master，因为对于这个slave的恢复需要花费很长时间，通过设置check_repl_delay=0,MHA触发切换在选择一个新的master的时候将会忽略复制延时，这个参数对于设置了candidate_master=1的主机非常有用，因为这个候选主在切换的过程中一定是新的master

check_repl_delay=0

1.5 binlog-server配置

修改配置文件（先决条件有一套带有GTID的MHA集群）

找一台额外的机器，必须要有5.6以上的版本，支持gtid并开启，我们直接用的第二个slave

[root@mysql-db03 bin]# vim /etc/mha/app1.cnf
[binlog1]

no_master=1

hostname=10.0.0.53

master_binlog_dir=/data/mysql/binlog/

创建目录

[root@mysql-db03 bin]# mkdir -p /data/mysql/binlog/
状态查看
[root@mysql-db03 binlog]# masterha_check_status --conf=/etc/mha/app1.cnf

app1 is stopped(2:NOT_RUNNING).

从主库拉去binlog日志

[root@mysql-db03 bin]# cd /data/mysql/binlog/

[root@mysql-db03 binlog]# ll

total 0

[root@mysql-db03 binlog]# mysqlbinlog -R --host=10.0.0.51 --user=mha --password=mha --raw --stop-never mysql-bin.000001 &

[root@mysql-db03 binlog]# masterha_stop --conf=/etc/mha/app1.cnf
nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1
masterha_check_status --conf=/etc/mha/app1.cnf

1.6 send_report

(1)准备发邮件的脚本(我们已经为大家准备好了script.tar.gz)

将以上脚本解压到 /usr/local/bin

(2)将准备好的脚本添加到mha配置文件中,让其调用

vi /etc/mha/app1.cnf

report_script=/usr/local/bin/send

（3）停止MHA

/usr/bin/masterha_stop --conf=/etc/mha/app1.cnf

（4）开启MHA

nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 &

(5) 关闭主库,看警告邮件

change master to master_host='10.0.0.53',master_user='repl',master_password='123' ,MASTER_AUTO_POSITION=1;

----------------------------

1.7 mysql中间键Atlas

1.7.1 主要功能

1、读写分离

2、从库负载均衡

3、IP过滤

4、自动分表

5、DBA可以平滑上下线DB

6、自动摘除宕机的DB

1.7.2 Atlas相对于官方对的MySQL-proxy

1.7.3 安装

[root@mysql-db01 tools]# rpm -ivh Atlas-2.2.1.el6.x86_64.rpm

1.7.4 修改配置文件

配置加密密码

[root@mysql-db01 bin]# cd /usr/local/mysql-proxy/

[root@mysql-db01 bin]#/usr/local/mysql-proxy/bin/encrypt 123 ---->制作加密密码

3yb5jEku5h4=

[root@mysql-db01 bin]# vim /usr/local/mysql-proxy/conf/test

[mysql-proxy]

#带#号的为非必需的配置项目

#管理接口的用户名

admin-username = user

#管理接口的密码

admin-password = pwd

#Atlas后端连接的MySQL主库的IP和端口，可设置多项，用逗号分隔

proxy-backend-addresses = 10.0.0.55:3306

#Atlas后端连接的MySQL从库的IP和端口，@后面的数字代表权重，用来作负载均衡，若省略则默认为1，可设置多项，用逗号分隔

proxy-read-only-backend-addresses = 10.0.0.52:3306,10.0.0.53:3306

#用户名与其对应的加密过的MySQL密码，密码使用PREFIX/bin目录下的加密程序encrypt加密，下行的user1和user2为示例，将其替换为你的MySQL的用户名和加密密码！

pwds = root:1N/CNLSgqXuTZ6zxvGQr9A==,rep:1N/CNLSgqXuTZ6zxvGQr9A==,mha:O2jBXONX098=

#设置Atlas的运行方式，设为true时为守护进程方式，设为false时为前台方式，一般开发调试时设为false，线上运行时设为true,true后面不能有空格。

daemon = true

#设置Atlas的运行方式，设为true时Atlas会启动两个进程，一个为monitor，一个为worker，monitor在worker意外退出后会自动将其重启，设为false时只有worker，没有monitor，一般开发调试时设为false，线上运行时设为true,true后面不能有空格。

keepalive = true

#工作线程数，对Atlas的性能有很大影响，可根据情况适当设置

event-threads = 8

#日志级别，分为message、warning、critical、error、debug五个级别

log-level = error

#日志存放的路径

log-path = /usr/local/mysql-proxy/log

#SQL日志的开关，可设置为OFF、ON、REALTIME，OFF代表不记录SQL日志，ON代表记录SQL日志，REALTIME代表记录SQL日志且实时写入磁盘，默认为OFF

sql-log = ON

#慢日志输出设置。当设置了该参数时，则日志只输出执行时间超过sql-log-slow（单位：ms)的日志记录。不设置该参数则输出全部日志。

#sql-log-slow = 10

#实例名称，用于同一台机器上多个Atlas实例间的区分

#instance = test

#Atlas监听的工作接口IP和端口

proxy-address = 0.0.0.0:3307

#Atlas监听的管理接口IP和端口

admin-address = 0.0.0.0:2345

#分表设置，此例中person为库名，mt为表名，id为分表字段，3为子表数量，可设置多项，以逗号分隔，若不分表则不需要设置该项

#tables = person.mt.id.3

#默认字符集，设置该项后客户端不再需要执行SET NAMES语句

charset = utf8

#允许连接Atlas的客户端的IP，可以是精确IP，也可以是IP段，以逗号分隔，若不设置该项则允许所有IP连接，否则只允许列表中的IP连接

#client-ips = 127.0.0.1, 192.168.1

#Atlas前面挂接的LVS的物理网卡的IP(注意不是虚IP)，若有LVS且设置了client-ips则此项必须设置，否则可以不设置

#lvs-ips = 192.168.1.1

[root@mysql-db01 conf]#

1.7.5 开启

[root@mysql-db01 conf]# /usr/local/mysql-proxy/bin/mysql-proxyd test start

OK: MySQL-Proxy of test is started

[root@mysql-db01 conf]#

查看有两个进程

[root@mysql-db01 conf]# netstat -luntp

Active Internet connections (only servers)

Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name

tcp 0 0 0.0.0.0:2345 0.0.0.0:* LISTEN 3936/mysql-proxy

tcp 0 0 0.0.0.0:3307 0.0.0.0:* LISTEN 3936/mysql-pro

1.7.6 登录

[root@mysql-db01 data]# mysql -uuser -ppwd -h127.0.0.1 -P2345

读的测试

show variables like 'server_id';

set global read_only=1;

连接测试

mysql -umha -pmha -h10.0.0.53 -P33060

create database db1;

动态添加删除节点：

REMOVE BACKEND 3;

ADD SLAVE 10.0.0.53:3306;

SAVE CONFIG;

mysql> SELECT * FROM help

-> ;

+----------------------------+---------------------------------------------------------+

| command | description |

+----------------------------+---------------------------------------------------------+

| SELECT * FROM help | shows this help |

| SELECT * FROM backends | lists the backends and their state后端数据库 |

| SET OFFLINE $backend_id | offline backend server, $backend_id is backend_ndx's id |平滑下线

| SET ONLINE $backend_id | online backend server, ... |平滑上线

| ADD MASTER $backend | example: "add master 127.0.0.1:3306", ... |添加master

| ADD SLAVE $backend | example: "add slave 127.0.0.1:3306", ... |添加slave

| REMOVE BACKEND $backend_id | example: "remove backend 1", ... |

| SELECT * FROM clients | lists the clients |

| ADD CLIENT $client | example: "add client 192.168.1.2", ... |

| REMOVE CLIENT $client | example: "remove client 192.168.1.2", ... |

| SELECT * FROM pwds | lists the pwds |

| ADD PWD $pwd | example: "add pwd user:raw_password", ... 自动加密密码 |

| ADD ENPWD $pwd | example: "add enpwd user:encrypted_password", ... 需要先加密密码后输入需要添加加密后的密码 |

| REMOVE PWD $pwd | example: "remove pwd user", ... |

| SAVE CONFIG | save the backends to config file 保存配置 |

| SELECT VERSION | display the version of Atlas

1.7.7 自动分表

school.stu 1000w

id name

stu_0 stu_1 stu_2 stu_3 stu_4

stu 表 1000w数据 , id name

以上分表方式,存数据非常均匀,取数据不均与,因为要考虑业务需求

如果业务查询热点数据集中在id是1-200w这些数据,那么读取就不均匀

取模分表

n/5 取余数 (0,1,2,3,4)

(1)如果是 0 则分到 stu_0

(2)如果是 1 则分到 stu_1

(3)如果是 2 则分到 stu_2

(4)如果是 3 则分到 stu_3

(5)如果是 4 则分到 stu_4

取余数

配置文件

vi /usr/local/mysql-proxy/conf/test.cnf

tables = school.stu.id.5

重启atlas

(主库)手工创建,分表后的库和表,分别为定义的school 和 stu_0 stu_1 stu_2 stu_3 stu_4

create database school;

use school

create table stu_0 (id int,name varchar(20));

create table stu_1 (id int,name varchar(20));

create table stu_2 (id int,name varchar(20));

create table stu_3 (id int,name varchar(20));

create table stu_4 (id int,name varchar(20));

测试:

insert into stu values (3,'wang5');

insert into stu values (2,'li4');

insert into stu values (1,'zhang3');

insert into stu values (4,'m6');

insert into stu values (5,'zou7');

commit;

1.8 MYCAT

1.8.1 8节点结构规划

10.0.0.51:3307 <------> 10.0.0.52:3308

10.0.0.51:3308 <------> 10.0.0.52:3307

10.0.0.51:3309 .......> 10.0.0.52:3307

10.0.0.51:3310 .......> 10.0.0.52:3308

10.0.0.51:3307 <...... 10.0.0.52:3309

10.0.0.51:3308 <...... 10.0.0.52:3310

------------

1.8.2 节点准备：

环境清理中。。。。。

创建相应目录：

mkdir -p /data/3307/data

mkdir -p /data/3308/data

mkdir -p /data/3309/data

mkdir -p /data/3310/data

1.8.3 编辑配置文件

vim /data/3307/my.cnf

[mysqld]

basedir=/application/mysql

datadir=/data/3307/data

socket=/data/3307/mysql.sock

port=3307

log-error=/data/3307/mysql.log

log_bin=/data/3307/mysql-bin

binlog_format=row

skip-name-resolve

server-id=7

gtid-mode=on

enforce-gtid-consistency=true

log-slave-updates=1

--------------------------

vim /data/3308/my.cnf

[mysqld]

basedir=/application/mysql

datadir=/data/3308/data

port=3308

socket=/data/3308/mysql.sock

log-error=/data/3308/mysql.log

log_bin=/data/3308/mysql-bin

binlog_format=row

skip-name-resolve

server-id=8

gtid-mode=on

enforce-gtid-consistency=true

log-slave-updates=1

------------------

vim /data/3309/my.cnf

[mysqld]

basedir=/application/mysql

datadir=/data/3309/data

socket=/data/3309/mysql.sock

port=3309

log-error=/data/3309/mysql.log

log_bin=/data/3309/mysql-bin

binlog_format=row

skip-name-resolve

server-id=9

gtid-mode=on

enforce-gtid-consistency=true

log-slave-updates=1

------------------

vim /data/3310/my.cnf

[mysqld]

basedir=/application/mysql

datadir=/data/3310/data

socket=/data/3310/mysql.sock

port=3310

log-error=/data/3310/mysql.log

log_bin=/data/3310/mysql-bin

binlog_format=row

skip-name-resolve

server-id=10

gtid-mode=on

enforce-gtid-consistency=true

log-slave-updates=1

------------------

1.8.4 初始化三套数据：

/application/mysql/scripts/mysql_install_db --user=mysql --basedir=/application/mysql --datadir=/data/3307/data

/application/mysql/scripts/mysql_install_db --user=mysql --basedir=/application/mysql --datadir=/data/3308/data

/application/mysql/scripts/mysql_install_db --user=mysql --basedir=/application/mysql --datadir=/data/3309/data

/application/mysql/scripts/mysql_install_db --user=mysql --basedir=/application/mysql --datadir=/data/3310/data

1.8.5 修改权限：

touch /data/330{7..9}/mysql.log

touch /data/3310/mysql.log

chown -R mysql.mysql /data/33*

1.8.6 启动数据库：

/application/mysql/bin/mysqld_safe --defaults-file=/data/3307/my.cnf &

/application/mysql/bin/mysqld_safe --defaults-file=/data/3308/my.cnf &

/application/mysql/bin/mysqld_safe --defaults-file=/data/3309/my.cnf &

/application/mysql/bin/mysqld_safe --defaults-file=/data/3310/my.cnf &

验证：

netstat -lnp|grep 33

1.8.7 连接测试：

mysql -S /data/3307/mysql.sock -e "show variables like 'server_id'"

mysql -S /data/3308/mysql.sock -e "show variables like 'server_id'"

mysql -S /data/3309/mysql.sock -e "show variables like 'server_id'"

mysql -S /data/3310/mysql.sock -e "show variables like 'server_id'"

---------------------------

1.9 构建主从环境（GTID）

在所有配置文件中添加：

gtid-mode=on

enforce-gtid-consistency=true

log-slave-updates=1

-------

统一复制用户

1.9.1 第一套双主：

10.0.0.51:3307 <------> 10.0.0.52:3308

-------

（1）

从主

10.0.0.51:3307----->10.0.0.52:3308

db02:

mysql -S /data/3308/mysql.sock

grant replication slave on *.* to repl@'10.0.0.%' identified by '123';

db01:

mysql -S /data/3307/mysql.sock

CHANGE MASTER TO MASTER_HOST='10.0.0.52', MASTER_PORT=3308, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';

start slave;

show slave status\G

（2）

从主

10.0.0.52:3308----->10.0.0.51:3307

db02:

mysql -S /data/3308/mysql.sock

CHANGE MASTER TO MASTER_HOST='10.0.0.51', MASTER_PORT=3307, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';

start slave;

show slave status\G

-------------------

1.9.2 第二套双主：

10.0.0.51:3308 <------> 10.0.0.52:3307

（1）

从主

10.0.0.51:3308----->10.0.0.52:3307

db02:

mysql -S /data/3307/mysql.sock

grant replication slave on *.* to repl@'10.0.0.%' identified by '123';

db01:

mysql -S /data/3308/mysql.sock

CHANGE MASTER TO MASTER_HOST='10.0.0.52', MASTER_PORT=3307, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';

start slave;

show slave status\G

（2）

从主

10.0.0.52:3307----->10.0.0.51:3308

db02:

mysql -S /data/3307/mysql.sock

CHANGE MASTER TO MASTER_HOST='10.0.0.51', MASTER_PORT=3308, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';

start slave;

show slave status\G

1.9.3 四套普通主从：

-----------------------------

从主

10.0.0.51:3309 .......> 10.0.0.52:3307

--------------------------------------------

db01：

mysql -S /data/3309/mysql.sock

CHANGE MASTER TO MASTER_HOST='10.0.0.52', MASTER_PORT=3307, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';

start slave;

show slave status\G

--------------------------------------------------

从主

10.0.0.51:3310 .......> 10.0.0.52:3308

db01:

mysql -S /data/3310/mysql.sock

CHANGE MASTER TO MASTER_HOST='10.0.0.52', MASTER_PORT=3308, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';

start slave;

show slave status\G

---------------------------------------------------

主从

10.0.0.51:3307 <...... 10.0.0.52:3309

db02:

mysql -S /data/3309/mysql.sock

CHANGE MASTER TO MASTER_HOST='10.0.0.51', MASTER_PORT=3307, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';

start slave;

show slave status\G

---------------------------------------------------

主从

10.0.0.51:3308 <...... 10.0.0.52:3310

db02:

mysql -S /data/3310/mysql.sock

CHANGE MASTER TO MASTER_HOST='10.0.0.51', MASTER_PORT=3308, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='123';

start slave;

show slave status\G

-----------------------

组一：

10.0.0.51:3307 <------> 10.0.0.52:3308

10.0.0.51:3307 <...... 10.0.0.52:3309

10.0.0.51:3308 <...... 10.0.0.52:3310

组二：

10.0.0.51:3308 <------> 10.0.0.52:3307

10.0.0.51:3309 .......> 10.0.0.52:3307

10.0.0.51:3310 .......> 10.0.0.52:3308

-----------------------

1.9.4 预先安装Java运行环境

yum install -y java

确保本机的hostname在/etc/hosts里存在，为了防止后续启动mycat的时候会报错

cat /etc/sysconfig/network

HOSTNAME=db01

[root@db01 logs]# cat /etc/hosts

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4

10.0.0.51 db01

注：Mycat本机预先安装MySQL环境，需要调用mysql命令。但不需要启动MySQL实例

下载Mycat-server-xxxxx.linux.tar.gz

http://dl.mycat.io/

解压文件

tar -zxvf

软件目录结构

[root@temp mycat]# ls

bin catlet conf lib logs version.txt

----------------------------

/root/mycat start

mysql -uroot -p123456 -h 127.0.0.1 -P8066

---------------------------------------

db01:

cd /root/mycat/conf/

mv schema.xml schema.xml.bak

vim schema.xml

<?xml version="1.0"?>

<!DOCTYPE mycat:schema SYSTEM "schema.dtd">

<mycat:schema xmlns:mycat="http://io.mycat/">

</schema>

<heartbeat>select user()</heartbeat>

</writeHost>

</dataHost>

</mycat:schema>

1.10 配置文件简单介绍：

（1）逻辑库：schema

</schema>

（2）数据节点:datanode

（3）数据主机：datahost(w和r)

<heartbeat>select user()</heartbeat>

</writeHost>

</dataHost>

---------------------------------

1.11 配置读写分离及高可用

<?xml version="1.0"?>

<!DOCTYPE mycat:schema SYSTEM "schema.dtd">

<mycat:schema xmlns:mycat="http://io.mycat/">

</schema>

<heartbeat>select user()</heartbeat>

</writeHost>

</writeHost>

</dataHost>

</mycat:schema>

真正的 writehost

standby writeHost = readhost

1.11.1 balance属性：

负载均衡类型，目前的取值有3种：

1. balance="0", 不开启读写分离机制，所有读操作都发送到当前可用的writeHost上。

2. balance="1"，全部的readHost与standby writeHost参与select语句的负载均衡，简单的说，

当双主双从模式(M1->S1，M2->S2，并且M1与 M2互为主备)，正常情况下，M2,S1,S2都参与select语句的负载均衡。

3. balance="2"，所有读操作都随机的在writeHost、readhost上分发。

1.11.2 writeType属性

负载均衡类型，目前的取值有2种：

1. writeType="0", 所有写操作发送到配置的第一个writeHost，

第一个挂了切到还生存的第二个writeHost，重新启动后已切换后的为主，切换记录在配置文件中:dnindex.properties .

2. writeType=“1”，所有写操作都随机的发送到配置的writeHost，但不推荐使用

switchType属性

-1 表示不自动切换

1 默认值，自动切换

2 基于MySQL主从同步的状态决定是否切换，心跳语句为 show slave status

db01:

mysql -S /data/3307/mysql.sock

grant all on *.* to root@'10.0.0.%' identified by '123';

mysql -S /data/3308/mysql.sock

grant all on *.* to root@'10.0.0.%' identified by '123';

mysql -S /data/3307/mysql.sock

source /root/world.sql

重启mycat

/root/mycat/bin/mycat restart

连接测试：

mysql -uroot -p123456 -h 127.0.0.1 -P8066

show variables like 'server_id';

1.11.3 故障测试

停节点

mysqladmin -S /data/3307/mysql.sock shutdown

再连接测试：

mysql -uroot -p123456 -h 127.0.0.1 -P8066

show variables like 'server_id';

启动节点再测试

/application/mysql/bin/mysqld_safe --defaults-file=/data/3307/my.cnf &

mysql -uroot -p123456 -h 127.0.0.1 -P8066

show variables like 'server_id';

datahost其他配置：

maxCon="1000"：最大的并发连接数

minCon="10" ：mycat在启动之后，会在后端节点上自动开启的连接线程

tempReadHostAvailable="1"

这个一主一从时（1个writehost，1个readhost时），可以开启这个参数，如果2个writehost，2个readhost时

<heartbeat>select user()</heartbeat> 监测心跳

-------------

1.12 例2：垂直拆分将world数据库下的city表进行拆分到world1

vim schema.xml

<?xml version="1.0"?>

<!DOCTYPE mycat:schema SYSTEM "schema.dtd">

<mycat:schema xmlns:mycat="http://io.mycat/">

</schema>

</schema>

<heartbeat>select user()</heartbeat>

</writeHost>

</writeHost>

</dataHost>

<heartbeat>select user()</heartbeat>

</writeHost>

</writeHost>

</dataHost>

</mycat:schema>

vim server.xml

<property name="schemas">TESTDB,TESTDB1</property>

db01:

mysql -S /data/3308/mysql.sock

grant all on *.* to root@'10.0.0.%' identified by '123';

备份恢复到新节点

mysqldump world city -S /data/3307/mysql.sock>/tmp/city.sql

mysql -S /data/3308/mysql.sock

create database world1;

use world1

source /tmp/city.sql

/root/mycat/bin/mycat restart

mysql -uroot -p123456 -h 127.0.0.1 -P8066

---------------------

1.13 例子3：垂直分表

vim schema.xml

<?xml version="1.0"?>

<!DOCTYPE mycat:schema SYSTEM "schema.dtd">

<mycat:schema xmlns:mycat="http://io.mycat/">

</schema>

<heartbeat>select user()</heartbeat>

</writeHost>

</writeHost>

</dataHost>

<heartbeat>select user()</heartbeat>

</writeHost>

</writeHost>

</dataHost>

</mycat:schema>

vim server.xml

<property name="schemas">TESTDB</property>

重启mycat测试

----------------------

1.14 分片

对一个"bigtable"，比如说city表

(1)行数非常多，800w

(2)访问非常频繁

（1）范围分片

<?xml version="1.0"?>

<!DOCTYPE mycat:schema SYSTEM "schema.dtd">

<mycat:schema xmlns:mycat="http://io.mycat/">

</schema>

<heartbeat>select user()</heartbeat>

</writeHost>

</writeHost>

</dataHost>

<heartbeat>select user()</heartbeat>

</writeHost>

</writeHost>

</dataHost>

</mycat:schema>

vim rule.xml

<rule>

<columns>umeta_id</columns>

</rule>

vim autopartition-long.txt

0-2000=0

2001-4079=1

1.15 Mycat全局表

使用场景：

如果你的业务中有些数据类似于数据字典，比如配置文件的配置，

常用业务的配置或者数据量不大很少变动的表，这些表往往不是特别大，

而且大部分的业务场景都会用到，那么这种表适合于Mycat全局表，无须对数据进行切分，

要在所有的分片上保存一份数据即可，Mycat 在Join操作中，业务表与全局表进行Join聚合会优先选择相同分片内的全局表join，

避免跨库Join，在进行数据插入操作时，mycat将把数据分发到全局表对应的所有分片执行，在进行数据读取时候将会随机获取一个节点读取数据。

6.3 E-R分片

</table>

取模分片

mod-long

枚举分片

sharding-by-intfile

</rule>

</tableRule>

<property name="mapFile">partition-hash-int.txt</property>

</function>

partition-hash-int.txt 配置：

10000=0

10010=1

DEFAULT_NODE=1

columns 标识将要分片的表字段，algorithm 分片函数，其中分片函数配置中，mapFile标识配置文件名称

Mysql高可用

第1章 MySQL 高可用

1.1 MHA简介

1.1.1 介绍

1.1.2 MHA工作流程

1.1.3 MHA架构图

1.1.4 MHA工具介绍

1.1.5 MHA优点

1.2 配置主从GTID

1.2.1 先决条件

1.2.2 修改配置文件开启GTID

1.2.3 数据库配置

1.2.4 主从库设置

1.3 部署MHA

1.3.1 基础环境

1.3.2 部署管理节点（mha-master）

1.3.3 配置SSH信任（所有节点）

1.3.4 启动测试

1.3.5 检测主从

1.3.6 启动mha

1.3.7 停止MHA

1.4 配置VIP漂移

1.4.1 漂移脚本：

1.4.2 测试切换

1.4.3 配置文件详解

1.5 binlog-server配置

1.6 send_report

1.7 mysql中间键Atlas

1.7.1 主要功能

1.7.2 Atlas相对于官方对的MySQL-proxy

1.7.3 安装

1.7.4 修改配置文件

1.7.5 开启

1.7.6 登录

1.7.7 自动分表

1.8 MYCAT

1.8.1 8节点结构规划

1.8.2 节点准备：

1.8.3 编辑配置文件

1.8.4 初始化三套数据：

1.8.5 修改权限：

1.8.6 启动数据库：

1.8.7 连接测试：

1.9 构建主从环境（GTID）

1.9.1 第一套双主：

1.9.2 第二套双主：

1.9.3 四套普通主从：

1.9.4 预先安装Java运行环境

1.10 配置文件简单介绍：

1.11 配置读写分离及高可用

1.11.1 balance属性：

1.11.2 writeType属性

1.11.3 故障测试

1.12 例2：垂直拆分将world数据库下的city表进行拆分到world1

1.13 例子3：垂直分表

1.14 分片

1.15 Mycat全局表

猜你喜欢