数据分片
相关概念
分库分表
分片：存在一台数据库的服务器中的数据．特定方式拆分．分散存放在多台数据库服务中，达到单台服务器负载的效果．
垂直分割
纵向切分：按业务类型
什么是垂直分割?
• 纵向切分
– 把单一的表,拆分成多个表,并分散到不同的数据库 ( 主机 ) 上。
– 一个数据库由多个表构成,每个表对应不同的业务, 可以按照业务对表进行分类,将其分
布到不同的数据 库 ( 主机 ) 上,实现专库专用,让不同的库 ( 主机 ) 分 担不同的业务。
服务器
Taobaodb a 服务器
注册表 b服务器
店铺表 c服务器
商品表 d服务器
销售表 e
库存表 f
水平分割
什么是水平分割?
• 横向切分
– 按照表中某个字段的某种规则,把向表中写入的记录 分散到多个库 ( 主机 ) 中。 –
简单来说,就是按照数据行切分,将表中的某些行存储到指定的数据库 ( 主机 ) 中
横向切分 －指定字段分片．取余数０１２３
Mycat 基于java 的分布式数据库系统中间件 －为高并发环境的分布式存储提供解决方案
１适合大量数据存入
２支持mysql oracle sqlserver mongodb
３支持读写分离
４提供服务数据分片
５实现数据库服务高可用
６alibabacobar 开源
分片规则
１枚举＼
２固定分片
３范围约定
４求模
５日期列
６通配取模
７ASCII求摸通配
8字符串拆分
９编程指定
１０一致性hash
mycat 服务提供 10 种分片规则。
– 1 枚举法 sharding-by-intfile
– 2 固定分片 rule1
– 3 范围约定 auto-sharding-long
– 4 求模法 mod-long
– 5 日期列分区法 sharding-by-date
– 6 通配取模 sharding-by-pattern
– 7ASCII 码求模通配 sharding-by-prefixpattern
– 8 编程指定 sharding-by-substring
– 9 字符串拆分hash解析 sharding-by-stringhash
– 10 一致性hash sharding-by-murmur
.mycat 工作工程?
当 Mycat 收到一个 SQL 时
– 会先解析这个 SQL 查找涉及到的表,然后看此表的定 义
– 如果有分片规则,则获取到 SQL 里分片字段的值,并 匹配分片函数,得到该 QL 对应的分片列表
– 然后将 SQL 发往这些分片去执行,最后收集和处理所 有分片返回的结果数据,并输出到客户端
环境部署
1装包
yum -y install java-1.8.0-openjdk
Which java
java -version
tar -xf Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz
mv mycat /usr/local/ －此处和tomcat装包一样
ls /usr/local/
２配置文件
Bin - mycat 命令
Catlet -扩展功能软件
Conf -配置文件 .xml mycat 配置文件
（1）Server.xml 用户名\密码\逻辑库名（information schema ）
（2）Schema.xml 配置数据分片
（3）Rule.xml 分片规则
（4）*.txt 函数调用文件
Lib -mycat 使用的jar 包
Logs -启动日志和运行日志
Wrapper -启动日志
Mycat.log -执行后报错内容
（１） server .xml (默认不动)配置mycat 服务
＜user＞
（２）配置数据分片
Schema.xml
cp //usr/local/mycat/conf/schema.xml /root/
vim /usr/local/mycat/conf/schema.xml
sed -i ‘56,77d’ /usr/local/mycat/conf/schema.xml
[root@mycat ~]# sed -i ‘16,18d’ /usr/local/mycat/conf/schema.xml
[root@mycat ~]# sed -i ‘36,39d’ /usr/local/mycat/conf/schema.xml
Vim
— 定义分片信息
所有虚拟表最后都加上dn3
指定数据库主机名
数据节点
指定主机名ip地址 （用户名密码）
select user()
(3)Rule.xml
分片规则
3配置数据库服务器
（１）创建存储数据的库＼
53 :Db1 54:db2 55:db3
（２）授权mycat 连接用用户admin
4 启动mycat 服务
Cd /usr/local/mycat/bin
/usr/local/mycat/bin/mycat start|status|dump|stop|
Ss -antulp | grep :8066端口号 mycat
ps -C java
PID TTY TIME CMD
1586 ? 00:00:47 java
5客户端链接
１连接
２选择表
３建表
４插入记录
Mysql -h -P8066 -u -p
Show databases;
Show tables
Desc hotnews
二分片规则
枚举法（sharding-by-intfile）
求魔法(mod-long)
1
枚举法
字段值必须在列举范围内选择
Schama.xml
Rule.xml
<function name=“hash-int” －枚举算法
class=“io.mycat.route.function.PartitionByFileMap”>
partition-hash-int.txt －修改算法规则
Vim /usr/local/mycat/conf/partion-hash-int.txt
cat partition-hash-int.txt
10000=0
10010=1
10020=2
(1)根据sharding-by-intfile建表
(2)Use testdb
mysql> create table employee (
-> id int primary key auto_increment,
-> sharding_id int,
-> name char(15) ,tal char(11)
-> );
51 desc db1.employee;
52 desc db2.employee
53desc db3.employee
插入内容字段
insert into employee(sharding_id ,name ,tal) values(10020,“lucyi”,“264362”)
53.54.55
验证分片效果
Select * from db1.employee
Select * from db2.employee
Select * from db3.employee
求模法 mod-long
根据字段值与设定的数字求模结果存储数据
schema.xml
客户端连接５６
创建表插入内容：
create table hotnews( id int(100), comment char(200), worker char(100) );
insert into hotnews(id , comment , worker) values(7,“lonux”,“haha”), (52,“linux”,“xixi”) );
５３ ５４ ５５验证
Select * from db1.hotnews
Select * from db2.hotnews
Select * from db3.hotnewsmod-long"
＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊
不分片
schema.xml
create table company ( id int(10) primary key, name char(20), addir char(200), epnum int )
insert into company(id,name,addir,epnum) values(3,“lc”,“huawei”,1040);
＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊
1加新库
Server.xml
２加新表
Schema.xml
３重
/usr/local/mycat/bin/mycat stop
/usr/local/mycat/bin/mycat start
４客户端测试
reate table user(name char(100), id int(10), class char(200) );
insert into user(id ,name , class) values(10,“jiji”,“nsd1904”);
select * from user;
| name | id | class |
| jiji | 10 | nsd1904 |
| xxix | 10 | nsd1905 |
| xigua | 10 | nsd1903 |
53测试
select * from db1.user;
| name | id | class |
| xxix | 30 | nsd1905 |
±-----±-----±--------+
５４测试
select * from db2.user;
| name | id | class |
±------±-----±--------+
| jiji | 10 | nsd1904 |
数据分片
相关概念
分库分表
分片：存在一台数据库的服务器中的数据．特定方式拆分．分散存放在多台数据库服务中，达到单台服务器负载的效果．
垂直分割
纵向切分：按业务类型
什么是垂直分割?
• 纵向切分
– 把单一的表,拆分成多个表,并分散到不同的数据库 ( 主机 ) 上。
– 一个数据库由多个表构成,每个表对应不同的业务, 可以按照业务对表进行分类,将其分
布到不同的数据 库 ( 主机 ) 上,实现专库专用,让不同的库 ( 主机 ) 分 担不同的业务。
服务器
Taobaodb a 服务器
注册表 b服务器
店铺表 c服务器
商品表 d服务器
销售表 e
库存表 f
水平分割
什么是水平分割?
• 横向切分
– 按照表中某个字段的某种规则,把向表中写入的记录 分散到多个库 ( 主机 ) 中。 –
简单来说,就是按照数据行切分,将表中的某些行存储到指定的数据库 ( 主机 ) 中
横向切分 －指定字段分片．取余数０１２３
Mycat 基于java 的分布式数据库系统中间件 －为高并发环境的分布式存储提供解决方案
１适合大量数据存入
２支持mysql oracle sqlserver mongodb
３支持读写分离
４提供服务数据分片
５实现数据库服务高可用
６alibabacobar 开源
分片规则
１枚举＼
２固定分片
３范围约定
４求模
５日期列
６通配取模
７ASCII求摸通配
8字符串拆分
９编程指定
１０一致性hash
mycat 服务提供 10 种分片规则。
– 1 枚举法 sharding-by-intfile
– 2 固定分片 rule1
– 3 范围约定 auto-sharding-long
– 4 求模法 mod-long
– 5 日期列分区法 sharding-by-date
– 6 通配取模 sharding-by-pattern
– 7ASCII 码求模通配 sharding-by-prefixpattern
– 8 编程指定 sharding-by-substring
– 9 字符串拆分hash解析 sharding-by-stringhash
– 10 一致性hash sharding-by-murmur
.mycat 工作工程?
当 Mycat 收到一个 SQL 时
– 会先解析这个 SQL 查找涉及到的表,然后看此表的定 义
– 如果有分片规则,则获取到 SQL 里分片字段的值,并 匹配分片函数,得到该 QL 对应的分片列表
– 然后将 SQL 发往这些分片去执行,最后收集和处理所 有分片返回的结果数据,并输出到客户端
环境部署
1装包
yum -y install java-1.8.0-openjdk
Which java
java -version
tar -xf Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz
mv mycat /usr/local/ －此处和tomcat装包一样
ls /usr/local/
２配置文件
Bin - mycat 命令
Catlet -扩展功能软件
Conf -配置文件 .xml mycat 配置文件
Server.xml 用户名\密码\逻辑库名（information schema ）
Schema.xml 配置数据分片
Rule.xml 分片规则
*.txt 函数调用文件
Lib -mycat 使用的jar 包
Logs -启动日志和运行日志
Wrapper -启动日志
Mycat.log -执行后报错内容
server .xml (默认不动)配置mycat 服务
＜user＞
（２）配置数据分片
Schema.xml
cp //usr/local/mycat/conf/schema.xml /root/
vim /usr/local/mycat/conf/schema.xml
sed -i ‘56,77d’ /usr/local/mycat/conf/schema.xml
[root@mycat ~]# sed -i ‘16,18d’ /usr/local/mycat/conf/schema.xml
[root@mycat ~]# sed -i ‘36,39d’ /usr/local/mycat/conf/schema.xml
Vim
— 定义分片信息
所有虚拟表最后都加上dn3
指定数据库主机名
数据节点
指定主机名ip地址 （用户名密码）
select user()
Rule.xml
分片规则
3配置数据库服务器
创建存储数据的库＼
53 :Db1 54:db2 55:db3
授权mycat 连接用用户admin
4 启动mycat 服务
Cd /usr/local/mycat/bin
/usr/local/mycat/bin/mycat start|status|dump|stop|
Ss -antulp | grep :8066端口号 mycat
ps -C java
PID TTY TIME CMD
1586 ? 00:00:47 java
5客户端链接
１连接
２选择表
３建表
４插入记录
Mysql -h -P8066 -u -p
Show databases;
Show tables
Desc hotnews
二分片规则
枚举法（sharding-by-intfile）
求魔法(mod-long)
1
枚举法
字段值必须在列举范围内选择
Schama.xml
Rule.xml
<function name=“hash-int” －枚举算法
class=“io.mycat.route.function.PartitionByFileMap”>
partition-hash-int.txt －修改算法规则
Vim /usr/local/mycat/conf/partion-hash-int.txt
cat partition-hash-int.txt
10000=0
10010=1
10020=2
根据sharding-by-intfile建表
Use testdb
mysql> create table employee (
-> id int primary key auto_increment,
-> sharding_id int,
-> name char(15) ,tal char(11)
-> );
51 desc db1.employee;
52 desc db2.employee
53desc db3.employee
插入内容字段
insert into employee(sharding_id ,name ,tal) values(10020,“lucyi”,“264362”)
53.54.55
验证分片效果
Select * from db1.employee
Select * from db2.employee
Select * from db3.employee
求模法 mod-long
根据字段值与设定的数字求模结果存储数据
schema.xml
客户端连接５６
创建表插入内容：
create table hotnews( id int(100), comment char(200), worker char(100) );
insert into hotnews(id , comment , worker) values(7,“lonux”,“haha”), (52,“linux”,“xixi”) );
５３ ５４ ５５验证
Select * from db1.hotnews
Select * from db2.hotnews
Select * from db3.hotnewsmod-long"
＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊
不分片
schema.xml
create table company ( id int(10) primary key, name char(20), addir char(200), epnum int )
insert into company(id,name,addir,epnum) values(3,“lc”,“huawei”,1040);
＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊
1加新库
Server.xml
２加新表
Schema.xml
３重
/usr/local/mycat/bin/mycat stop
/usr/local/mycat/bin/mycat start
４客户端测试
reate table user(name char(100), id int(10), class char(200) );
insert into user(id ,name , class) values(10,“jiji”,“nsd1904”);
select * from user;
| name | id | class |
| jiji | 10 | nsd1904 |
| xxix | 10 | nsd1905 |
| xigua | 10 | nsd1903 |
53测试
select * from db1.user;
| name | id | class |
| xxix | 30 | nsd1905 |
±-----±-----±--------+
５４测试
select * from db2.user;
| name | id | class |
±------±-----±--------+
| jiji | 10 | nsd1904 |