1 集群搭建之主从复制
1.1 主从复制原理
1.3 binlog介绍和relay日志
查看binlog日志： mysqlbinlog 文件名称
1.4 主从复制实践
1.4.1 关闭主从机器的防火墙策略
做主从同步时，把从库防火墙关了，如果开启防火墙后，从库就不会同步了。
1.4.2 主服务器配置
第一步：修改my.conf 文件
在[mysqld]段下添加：
#启用二进制日志
log-bin=mysql-bin
#服务器唯一ID，一般取IP最后一段
server-id=133
第二步：重启mysql服务
service mysqld restart
第三步：建立帐户并授权slave（登录到MySQL）
mysql>GRANT FILE ON *.* TO 'root'@'%' IDENTIFIED BY '123456';
mysql>GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* to 'root'@'%' identified by 'root';
mysql>GRANT REPLICATION SLAVE ON *.* to 'root'@'%' identified by 'root';
#一般不用root帐号，“%”表示所有客户端都可能连，只要帐号，密码正确，此处可用具体客户端IP代替，如192.168.145.226，加强安全。
刷新权限
mysql> FLUSH PRIVILEGES;
查看mysql现在有哪些用户
mysql>select user,host from mysql.user;
第四步：查询master的状态
mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000001 | 120 | db1 | mysql | |
+------------------+----------+--------------+------------------+-------------------+
1 row in set
1.4.3 从服务器配置
第一步：修改my.conf文件
[mysqld]
server-id=135
第二步：删除UUID文件
错误处理：
如果出现此错误：
Fatal error: The slave I/O thread stops because master and slave have equal MySQL server UUIDs; these UUIDs must be different for replication to work.
因为是mysql是克隆的系统所以mysql的uuid是一样的，所以需要修改。
解决方法：
删除/var/lib/mysql/auto.cnf文件，重新启动服务。
第三步：重启并登录到MySQL进行配置从服务器
mysql>change
master to master_host='192.168.10.133',master_port=3306,master_user='root',master_password='root',master_log_file='mysql-bin.000001',master_log_pos=569
注意语句中间不要断开，master_port为mysql服务器端口号(无引号)，master_user为执行同步操作的数据库账户，“120”无单引号(此处的120就是show master status 中看到 的position的值，这里的mysql-bin.000001就是file对应的值)。
第四步：启动从服务器复制功能
mysql>start slave;
第五步：检查从服务器复制功能状态：
mysql> show slave status
……………………(省略部分)
Slave_IO_Running: Yes //此状态必须YES
Slave_SQL_Running: Yes //此状态必须YES
……………………(省略部分)
注：Slave_IO及Slave_SQL进程必须正常运行，即YES状态，否则都是错误的状态(如：其中一个NO均属错误)。
2 集群搭建之读写分离
1.1 读写分离的理解
HAC：High Availability Cluster
MySQL的主从复制，只会保证主机对外提供服务，而从机是不对外提供服务的，只是在后台为主机进行备份。
1.2 MySQL-Proxy 下载
大家可以去官网下载
1.3 MySQL-Proxy 安装
1. 准备一台机器作为MySQL Proxy
2. 上传压缩包
解压缩
tar -xf mysql-proxy-0.8.5-linux-el6-x86-64bit.tar.gz -C
1.4 MySQL-Proxy
创建mysql-proxy.cnf文件
修改mysql-proxy.cnf文件的权限
chmod
修改rw-splitting.lua脚本
1.5 MySQL-Proxy 启动域测试
启动命令
./mysql-proxy --defaults-file=mysql-proxy.cnf配置文件的地址
注意事项：如果没有配置profile文件的环境变量，则需要去拥有mysql-proxy命令的目录通过./mysql-proxy进行启动。
在其他客户端，通过mysql命令去连接MySQL Proxy机器
mysql -uroot -proot -h192.168.10.134 -P4040
3 分库分表之Mycat实现
3.1 分库分表介绍
当你们的数据库表数据特别大时，比如说上亿的记录，数据库本身的优化基本上无法解决性能问题了，根本原因是数据库本身的io读写到了一个瓶颈，这个时候，需要海量 数据的存储和查询问题。此时我们需要利用分库分表的思想去进行数据库的架构优化。
随着微服务这种架构的兴起，我们应用从一个完整的大的应用，切分为很多可以独立提供服务的小应用。每个应用都有独立的数据库。
数据的切分分为两种：
垂直切分：按照业务模块进行切分，将不同模块的表切分到不同的数据库中。
水平切分：将一张大表按照一定的切分规则，按照行切分到不同的表或者不同的库中。
3.2 Mycat介绍
3.2.1 什么是Mycat
简单的说，MyCAT就是：
一个彻底开源的，面向企业应用开发的“大数据库集群”
支持事务、ACID、可以替代Mysql的加强版数据库
一个可以视为“Mysql”集群的企业级数据库，用来替代昂贵的Oracle集群
一个融合内存缓存技术、Nosql技术、HDFS大数据的新型SQL Server
结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品
一个新颖的数据库中间件产品
MyCAT的目标是：低成本的将现有的单机数据库和应用平滑迁移到“云”端，解决数据存储和业务规模迅速增长情况下的数据瓶颈问题。
3.2.2 Mycat关键特性
支持 SQL 92标准
支持Mysql集群，可以作为Proxy使用
支持JDBC连接ORACLE、DB2、SQL Server，将其模拟为MySQL Server使用
支持galera for mysql集群，percona-cluster或者mariadb cluster，提供高可用性数据分片集群
自动故障切换，高可用性
支持读写分离，支持Mysql双主多从，以及一主多从的模式
支持全局表，数据自动分片到多个节点，用于高效表关联查询
支持独有的基于E-R 关系的分片策略，实现了高效的表关联查询
多平台支持，部署和实施简单
3.2.3 Mycat结构
3.2.4 核心概念
Schema：由它指定逻辑数据库
Table：逻辑表
DataNode：真正存储节点
DataHost：真正的数据库主机
MyCAT使用Mysql的通讯协议模拟成了一个Mysql服务器，并建立了完整的Schema（数据库）、Table （数据表）、User(用户)的逻辑模型，并将这套逻辑模型映射到后端的存储 节点DataNode（MySQL Instance）上的真实物理库中，这样一来，所有能使用Mysql的客户端以及编程语言都能将MyCAT当成是Mysql Server来使用，不必开发新的客户端协议。
3.2.5 Mycat 存在的问题
1.跨库join问题
* 通过业务分析，将不同库的join查询拆分成多个select
* 建立全局表（每个库都有一个相同的表）
* 冗余字段（不符合数据库三范式）
* E-R分片（将有关系的记录都存储到一个库中）
* 最多支持跨两张表跨库的join
2. 分布式事务（弱事务）
* 强一致性事务（同步）
* 最终一致性事务（异步思想）
3. 分布式主键
* redis incr命令
* 数据库（生成主键）
* UUID
* snowflake算法
3.3 Mycat解决的问题
查询优化
3.4 分片策略
MyCAT支持水平分片与垂直分片：
水平分片：一个表格的数据分割到多个节点上，按照行分隔。
垂直分片：一个数据库中多个表格A，B，C，A存储到节点1上，B存储到节点2上，C存储到节点3上。
MyCAT通过定义表的分片规则来实现分片，每个表格可以捆绑一个分片规则，每个分片规则指定一个分片字段并绑定一个函数，来实现动态分片算法。
1、Schema：逻辑库，与MySQL中的Database（数据库）对应，一个逻辑库中定义了所包括的Table。
2、Table：表，即物理数据库中存储的某一张表，与传统数据库不同，这里的表格需要声明其所存储的逻辑数据节点DataNode。在此可以指定表的分片规则。
3、DataNode：MyCAT的逻辑数据节点，是存放table的具体物理节点，也称之为分片节点，通过DataSource来关联到后端某个具体数据库上
4、DataSource：定义某个物理库的访问地址，用于捆绑到Datanode上
3.5 Mycat 读写分离
MyCat的读写分离是建立在MySQL主从复制基础之上实现的。
数据库读写分离对于大型系统或者访问量很高的互联网应用来说，是必不可少的一个重要功能。对于MySQL来说，标准的读写分离是主从模式，一个写节点Master后面跟着多个读 节点，读节点的数量取决于系统的压力，通常是1-3个读节点的配置
Mycat读写分离和自动切换机制，需要mysql的主从复制机制配合。