MySQL 数据库--主从复制与读写分离（大型攻略，理论详解，图文并茂）

其他 2021-02-08 15:31:45 阅读次数: 0

文章目录

一、案例分析

1.案例概述

  • 在实际的生产环境中，如果对 MySQL 数据库的读和写都在一台数据库服务器中操作，无论在安全性、高可用性，还是高并发性等各个方面都是完全不能满足实际需求的
  • 因此，一般来说都是通过主从父子（Master-Slave）的方式来同步数据，再通过读写分离来提升数据库的并发负载能力这样的方案进行部署与实施
  • 如下图所示，一台主 MySQL 带着两台从 MySQL 进行了数据复制，前端应用在进行数据库写操作时，对主设备进行操作，在进行数据库读操作时，对两台从设备进行操作，这样大量减轻了对主设备的压力
    mark

2.案例前置知识点

2.1 MySQL 主从复制原理

  • MySQL 的主从复制和 MySQL 的读写分离两者有着紧密联系，首先要部署主从复制，只有主从复制完成了，才能在此基础上进行数据的读写分离

2.1.1 MySQL 支持的复制类型

  1. 基于语句的复制；在主服务器上执行的 SQL 语句，在从服务器上执行同样的语句；MySQL 默认采用基于语句的复制，效率比较高
  2. 基于行的复制；把改变的内容复制过去，而不是把命令在从服务器上执行一遍
  3. 混合类型的复制；默认采用基于语句的复制，一旦发现基于语句无法精确复制时，就会采用基于行的复制

2.1.2 复制的工作过程

  • MySQL 复制的过程过程如下图所示
    mark
  1. 在每个事务更新数据完成之前，Master 都会在二进制日志记录这些改变；写入二进制日志完成后，Master 通知存储引擎提交事务
  2. Slave 将 Master 的 Binary log 复制到其中继日志：首先，Slave 开始一个工作线程——I/O 线程，I/O 线程在 Master 上打开一个普通的连接，然后开始 Binlog dump process；Binlog dump process 从 Master 的二进制日志中读取时间，如果已经跟上 Master，它会睡眠并等待 Master 产生新的时间；I/O 线程将做这些事件写入中继日志
  3. SQL slave thread（SQL 从线程）处理该过程的最后一步：SLQ 线程从中继日志读取事件，并重放其中的时间而更新 Slave 的数据，使其与 Master 中的数据一直；只要该线程与 I/O 线程保持一致，中继日志通常会位于 OS 的缓存中，所以中继日志的开销很小
  4. 复制过程有一个很重要的限制，即复制在 Slave 上是串行化的，也就是说 Master 上的并行更新操作不能在 Slave 上并行操作

2.2 MySQL 读写分离原理

  • 简单来说，读写分离就是只在主服务器上写，只在从服务器上读
  • 基本原理就是让主数据库处理事务性（增、删、改、查等）操作，而从数据库处理 select 查询操作
  • 数据库复制被用来把事务性操作导致的变更同步到群集中的从数据库
  • 如下图所示：
    mark

2.3 常见的 MySQL 读写分离

2.3.1 基于程序代码内部实现

  • 在代码中根据 select、insert 进行路由分类，这类方法也是目前生产环境应用最广泛的
  • 优点是性能较好，容易在程序代码中实现，不需要增加额外的设备为硬件开支
  • 缺点是需要开发人员来实现，运维人员无从下手
  • 但是并不是所有的应用都适合在程序代码中实现读写分离，比如一些大型复杂的 Java 应用，如果在程序代码中实现读写分离对代码改动就较大，比较繁琐

2.3.2 基于中间代理层实现

  • 基于中间代理层实现：代理一般位于客户端和服务器之间，代理服务器接到客户端请求通过判断后转发到后端数据库
  • 有以下代表性程序
    • MySQL-Proxy：MySQL-Proxy 为 MySQL 开源项目，通过其自带的 lua 脚本进行 SQL 判断（虽然是 MySQL 的官方产品，但是官方并不建议将其用到生产环境）
    • Atlas：是由奇虎360的 Web 平台部基础架构团队开发维护的一个基于 MySQL 协议的数据中间层项目；它是在 mysql-proxy 0.8.2 版本的基础上，对其进行了优化，增加了一些新的功能特性；360内部使用 Atlas 运行的 mysql 业务，每天承载的读写请求数达几十亿条；支持事物以及存储过程
    • Amoeba：由陈思儒开发，作者曾就职于阿里巴巴；该程序由 Java 语言进行开发，阿里巴巴将其用于生产环境；它不支持事务和存储过程

2.3.3 小结

  • 由于使用 MySQL Proxy 需要写大量的 Lua 脚本，这些 Lua 脚本不是现成的，而需要自己编写，这对于并不熟悉 MySQL Proxy 内置变量和 MySQL Protocol 的人来说是非常困难的
  • Amoeba 是一个非常容易使用，可移植性非常强的软件，因此它在生产环境中被广泛用于数据库的代理层

二、案例实施

1.案例环境

  • 本案例环境使用五台服务器模拟搭建，具体的拓扑图如下图所示：
    mark
主机名 主机 操作系统 IP 地址 主要软件
CentOS 7-1 Master CentOS 7 192.168.126.11 ntp 、 mysql-boost-5.7.20.tar.gz
CentOS 7-2 Amoeba CentOS 7 192.168.126.12 jdk-6u14-linux-x64.bin、amoeba-mysql-binary-2.2.0.tar.gz
CentOS 7-3 Slave1 CentOS 7 192.168.126.13 ntp 、ntpdate 、 mysql-boost-5.7.20.tar.gz
CengOS 7-4 Slave2 CentOS 7 192.168.126.14 ntp 、ntpdate 、mysql-boost-5.7.20.tar.gz
CentOS 7-5 客户端 CentOS 7-5 192.168.126.15 mysql5.7

2.实验思路（解决需求）

  1. 客户端访问代理服务器
  2. 代理服务器写入到主服务器
  3. 主服务器将增删改写入自己二进制日志
  4. 从服务器将主服务器的二进制日志同步至自己中继日志
  5. 从服务器重放中继日志到数据库中
  6. 客户端读，则代理服务器直接访问从服务器
  7. 降低负载，起到负载均衡作用

3.准备

  1. 除了客户端，都需要先源码编译安装好 MySQL，这里提供一个键脚本，传送门：Mysql 服务（一键部署）（源码编译安装）
  2. 都需要关闭防火墙及控制访问机制！（防火墙：没想到吧，哈哈，又是我）
systemctl stop firewalld
systemctl disable firewalld
#关闭防火墙（及开机禁用）
setenforce 0
#关闭安全访问控制机制

3.搭建 MySQL 主从复制

3.1 建立时间同步环境，在主节点上搭建时间同步服务器

#安装 NTP
yum -y install ntp


#配置 NTP
vim /etc/ntp.conf
#末行添加以下内容
server 127.127.126.0
fudge 127.127.126.0 stratum 8

#设置本地是时钟源，注意修改网段
#设置时间层级为8（限制在15内）



#重启服务
service ntpd restart

mark

3.2 在从节点上进行时间同步

yum -y install ntp ntpdate
#安装服务，ntpdate用于同步时间

service ntpd start
#开启服务


/usr/sbin/ntpdate 192.168.126.11
#进行时间同步，指向Master服务器IP


crontab -e
#写入计划性任务，每半小时进行一次时间同步
*/30 * * * * /usr/sbin/ntpdate 192.168.126.11

mark
mark

3.3 配置 MySQL Master 主服务器

vim /etc/my.cnf
#配置以下内容

server-id = 1
log-bin=master-bin
#添加，主服务器开启二进制日志
log-slave-updates=true
#添加，允许从服务器更新二进制日志


systemctl restart mysqld
#重启服务使配置生效


mysql -uroot -p123123
#登录数据库程序，给从服务器授权
GRANT REPLICATION SLAVE ON *.* TO 'myslave'@'192.168.126.%' IDENTIFIED BY '123123';
FLUSH PRIVILEGES;

show master status;
quit

#File 列显示日志名，Fosition 列显示偏移量

mark
mark

3.4 配置 从服务器

vim /etc/my.cnf
server-id = 2

#修改，注意id与Master的不同，两个Slave的id也要不同
relay-log=relay-log-bin
#添加，开启中继日志，从主服务器上同步日志文件记录到本地
relay-log-index=slave-relay-bin.index
#添加，定义中继日志文件的位置和名称


systemctl restart mysqld


mysql -uroot -p123123
change master to master_host='192.168.126.11' , master_user='myslave',master_password='123123',master_log_file='master-bin.000001',master_log_pos=604;
#配置同步，注意 master_log_file 和 master_log_pos 的值要与Master的一致

start slave;
#启动同步，如有报错执行 reset slave;
show slave status\G
#查看 Slave 状态
//确保 IO 和 SQL 线程都是 Yes，代表同步正常


Slave_IO_Running: Yes
#负责与主机的io通信
Slave_SQL_Running: Yes
#负责自己的slave mysql进程

mark
mark
mark
mark

  • 从服务器配置皆一样，只是 mysql 的配置文件里面的 id 不能相同，我第二台从服务器设为了 3
    mark
  • 一般 Slave_IO_Running: No 有这几种可能性：
    • 网络不通
    • my.cnf 配置有问题
    • 密码、file 文件名、pos 偏移量不对
    • 防火墙没有关闭

3.5 验证主从复制效果

mark
mark
mark

4.搭建 MySQL 读写分离

  • Amoeba（变形虫）项目开源框架于 2008 年发布了一款 Amoeba for MySQL 软件
  • 这个软件致力于 MySQL 的分布式数据库前端代理层，它主要为应用层访问 MySQL 时充当 SQL 路由，并具有负载均衡、高可用性、SQL 过滤、读写分离、可路由相关到目标数据库、可并发请求多台数据库
  • 通过 Amoeba 能够完成多数据源的高可用、负载均衡、数据切片的功能
  • 目前 Amoeba 已在很多企业的生产线上使用，其版本可在官网进行下载

4.1 在主机 Amoeba 上安装 Java 环境

cd /opt/
#在Xshell中，把软件包拖进来
amoeba-mysql-binary-2.2.0.tar.gz
jdk-6u14-linux-x64.bin

mark

cp jdk-6u14-linux-x64.bin /usr/local/

cd /usr/local/
chmod +x jdk-6u14-linux-x64.bin
./jdk-6u14-linux-x64.bin
#按住Enter键不动一直到最下面，有提示输入YES+回车即可

mark
mark

mv jdk1.6.0_14/ /usr/local/jdk1.6
#改名

vim /etc/profile
#编辑全局配置文件，在最后一行添加以下配置
export JAVA_HOME=/usr/local/jdk1.6
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/lib:$JAVA_HOME/jre/bin/:$PATH:$HOME/bin
export AMOEBA_HOME=/usr/local/amoeba
export PATH=$PATH:$AMOEBA_HOME/bin

#输出定义Java的工作目录
#输出指定的java类型
#将java加入路径环境变量
#输出定义amoeba工作目录
#加入路径环境变量


source /etc/profile
#执行修改后的全局配置文件
java -version
#查看java版本信息以检查是否安装成功

mark

4.2 安装并且配置 Amoeba 软件

mkdir /usr/local/amoeba
tar zxvf /opt/amoeba-mysql-binary-2.2.0.tar.gz -C /usr/local/amoeba/
chmod -R 755 /usr/local/amoeba/
/usr/local/amoeba/bin/amoeba

#如显示 amoeba start|stop 说明安装成功

mark
mark

4.3 配置 Amoeba 读写分离，两个 Slave 读负载均衡

  1. 在 Master、Slave 1、Slave 2 的 mysql 上开放权限给 Amoeba 访问
grant all on *.* to test@'192.168.126.%' identified by '123.com';

mark
mark
mark

  1. 在主机 Amoeba 中编辑 amoeba.xml 配置文件
cd /usr/local/amoeba/conf/
cp amoeba.xml amoeba.xml.bak

vim amoeba.xml
#修改amoeba配置文件

#30行修改
<property name="user">amoeba</property>
#32行修改
<property name="password">123123</property>
#115行修改
<property name="defaultPool">master</property>
#117去掉注释
<property name="writePool">master</property>
<property name="readPool">slaves</property>

mark
mark
mark

  1. 编辑 dbServers.xml 配置文件
cp dbServers.xml dbServers.xml.bak

vim dbServers.xml
#修改数据库配置文件

#23行注释掉
作用：默认进入test库 以防mysql中没有test库时，会报错
<!-- <property name="schema">test</property> -->
#26行修改
<property name="user">test</property>
#28-30行去掉注释
<property name="password">123.com</property>
#45行修改，设置主服务器的名Master
<dbServer name="master"  parent="abstractServer">
#48行修改，设置主服务器的地址
<property name="ipAddress">192.168.126.11</property>
#52行修改，设置从服务器的名slave1
<dbServer name="slave1"  parent="abstractServer">
#55行修改，设置从服务器1的地址
<property name="ipAddress">192.168.126.13</property>
#58行复制上面6行粘贴，设置从服务器2的名slave2和地址
<dbServer name="slave2"  parent="abstractServer">
<property name="ipAddress">192.168.184.14</property>
#65行修改
<dbServer name="slaves" virtual="true">
#71修改
<property name="poolNames">slave1,slave2</property>

mark
mark
mark

  1. 确定配置无误后，可以启动 Amoeba 软件，其默认端口为 tcp 8066
/usr/local/amoeba/bin/amoeba start&
#启动Amoeba软件，按ctrl+c 返回
netstat -anpt | grep java
#查看8066端口是否开启，默认端口为TCP 8066

mark

4.4 测试

  1. 前往客户端快速装好 MySQL 虚拟客户端，然后通过代理访问 MySQL
yum -y install mysql
#用YUM快速安装MySQL虚拟客户端

mysql -u amoeba -p123123 -h 192.168.126.12 -P8066
#通过代理访问MySQL，IP地址指向amoba
#在通过客户端连接mysql后写入的数据只有主服务会记录，然后同步给从服务器

mark

  1. 在 Master 上创建一个表，同步到两个从服务器上
use CLASS01;
create table test (id int(10),name varchar(10),address varchar(20));

mark

  1. 然后关闭从服务器的 Slave 功能，从主服务器上同步了表，手动插入数据内容
stop slave;
#关闭同步

use CLASS01;
insert into test values('1','wangyi','this_is_slave1');


#slave2
insert into test values('2','wanger','this_is_slave2');

mark
mark

  1. 再回到主服务器上插入其他内容
insert into test values('3','wangwu','this_is_master');

mark

  1. 测试读操作，前往客户端主机查询结果
use CLASS;
select * from test;

mark

  1. 在客户端上插入一条语句，但是在客户端上查询不到，最终只有在 Master 上才上查看到这条语句内容，说明写操作在 Master 服务器上
insert into test values('4','liuliu','this_is_client');

mark
mark

  1. 再在两个从服务器上执行 start slave; 即可实现同步在主服务器上添加的数据

4.5 小结

  • 由此验证，已经实现了 MySQL 读写分离，目前所有的写操作全部在 Master 主服务器上，用来避免数据的不同步
  • 而所有的读操作都分摊给了 Slave 从服务器，用来分担数据库的压力

猜你喜欢

转载自blog.csdn.net/weixin_51486343/article/details/113754670
今日推荐
Arc Browser for Windows 1.0 正式 GA
90后程序员开发视频搬运软件、不到一年获利超 700 万，结局很刑！
《美国对全球网络空间安全与发展的威胁和破坏》报告发布
火速冲上 GitHub 热榜 —— 开源编程语言、框架哪有这么可爱？
北京人形机器人创新中心发布全球首个纯电驱拟人奔跑的全尺寸人形机器人“天工”
周排行
rbac——界面、权限
Apache CXF + SpringMVC 整合发布WebService
so插件化
Vue.js实战系列---图标字体制作（svg格式）
PAT乙级 1007 素数对猜想(孪生素数对) (20分) ---（C语言 + 详细注释）
被IRM保护的文档，打开失败
Calendar和Date计算日期差的小问题
win10子系统ubuntu18.4安装docker
利用Wrap Shell Script定位Android Native内存泄漏
MySQL: Transaction (Part I - Basic Concept)
每日归档
更多
2024-05-03(19)
2024-05-02(0)
2024-05-01(4)
2024-04-30(1)
2024-04-29(40)
2024-04-28(0)
2024-04-27(56)
2024-04-26(39)
2024-04-25(22)
2024-04-24(36)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022