Annotation & Multi-tenancy of Mycat1.6http://gaojingsong.iteye.com/blog/2338725

Permalink:  http://gaojingsong.iteye.com/blog/2338725

Preview article: [Annotation & Multi-tenancy of Mycat 1.6] 

 

1. Fragmentation of Mycat -- Node -- Host

Sharding node (dataNode)

After the data is divided, a large table is divided into different sharded databases, and the database where each table shard is located is the shard node (dataNode).

 

Node host (dataHost)

After the data is split, each shard node (dataNode) does not necessarily have a single machine, and there can be multiple shard databases on the same machine.

The machine where one or more shard nodes (dataNode) are located is the node host (dataHost), in order to avoid the concurrency limit of a single node host

Try to balance the shard nodes (dataNode) with high read and write pressure on different node hosts (dataHost) .

 

Sharding rules (rule)

We talked about data segmentation earlier. If a large table is divided into several sharded tables, certain rules are required, so that the data can be divided into different parts according to certain business rules.

The rule of a shard is the shard rule. It is very important to select the appropriate shard rule for data segmentation, which will greatly avoid the difficulty of subsequent data processing.

 

Global sequence number (sequence)

After the data is split, the primary key constraints in the original relational database will not be available under distributed conditions, so an external mechanism needs to be introduced to ensure data

Unique identification, this mechanism to ensure the unique identification of global data is the global sequence number (sequence).

 

2. Multi-tenancy of Mycat

Multi-tenancy technology, or multi-tenancy technology, is a software architecture technology that explores and implements how to share the same in a multi-user environment.

系统或程序组件,并且仍可确保各用户间数据的隔离性。在云计算时代,多租户技术在共用的数据中心以单一系统架构与服务提供多数客户端相同甚至可定制化的服务,并且仍然可以保障客户的数据隔离。目前各种各样的云计算服务就是这类技术范畴,例如阿里云数据库服务(RDS)、阿里云服务器等等。

多租户在数据存储上存在三种主要的方案,分别是:

独立数据库

这是第一种方案,即一个租户一个数据库,这种方案的用户数据隔离级别最高,安全性最好,但成本也高。

优点:

为不同的租户提供独立的数据库,有助于简化数据模型的扩展设计,满足不同租户的独特需求;

如果出现故障,恢复数据比较简单。

缺点:

增大了数据库的安装数量,随之带来维护成本和购置成本的增加。

这种方案与传统的一个客户、一套数据、一套部署类似,差别只在于软件统一部署在运营商那里。如果面对

的是银行、医院等需要非常高数据隔离级别的租户,可以选择这种模式,提高租用的定价。如果定价较低,产品走低价路线,这种方案一般对运营商来说是无法承受的。

 

共享数据库,隔离数据架构

这是第二种方案,即多个或所有租户共享 Database,但是每个租户一个 Schema

优点:

为安全性要求较高的租户提供了一定程度的逻辑数据隔离,并不是完全隔离;每个数据库可以支持更多的租

户数量。

缺点:

如果出现故障,数据恢复比较困难,因为恢复数据库将牵扯到其他租户的数据;

如果需要跨租户统计数据,存在一定困难。

 

共享数据库,共享数据架构

这是第三种方案,即租户共享同一个 Database、同一个 Schema,但在表中通过 TenantID 区分租户的数

据。这是共享程度最高、隔离级别最低的模式。

优点:

三种方案比较,第三种方案的维护和购置成本最低,允许每个数据库支持的租户数量最多。

缺点:

隔离级别最低,安全性最低,需要在设计开发时加大对安全的开发量;

数据备份和恢复最困难,需要逐表逐条备份和还原。

如果希望以最少的服务器为最多的租户提供服务,并且租户接受以牺牲隔离级别换取降低成本,这种方案最

适合。

 

 

 

三、Mycat多租户解决方案:

通过注解方式在配置多个 schema 情况下,指定走哪个配置的 schema。

Mycat多租户实现原理

1)web 部分修改:

a.在用户登录时,在线程变量(ThreadLocal)中记录租户的 id

b.修改 jdbc 的实现:在提交 sql 时,从 ThreadLocal 中获取租户 id, 添加 sql 注释,把租户的 schema

放到注释中。例如:/*!mycat : schema = test_01 */ sql ;

 

2)DB层代理转发:

在 db 前面建立 proxy 层,代理所有 web 过来的数据库请求。proxy 层是用 mycat 实现的,web 提交

的 sql 过来时在注释中指定 schema, proxy 层根据指定的 schema 转发 sql 请求。

/*!mycat : schema = test_01 */ sql ;

 

四、Mycat注解介绍

MyCat 对自身不支持的 Sql 语句提供了一种解决方案——在要执行的 SQL 语句前添加额外的一段由注解

SQL 组织的代码,这样 Sql 就能正确执行,这段代码称之为“注解”。注解的使用相当于对 mycat 不支持的 sql语句做了一层透明代理转发,直接交给目标的数据节点进行 sql 语句执行,其中注解 SQL 用于确定最终执行 SQL的数据节点。注解的形式是:

/*!mycat: sql=注解 Sql 语句*/

注解的使用方式是:

/*!mycat: sql=注解 Sql 语句*/真正执行 Sql

使用时将=号后的“注解 Sql 语句”替换为需要的 Sql 语句即可,后面会提到具体的用法。

 

注解原理

MyCat 执行 SQL 语句的流程是先进行 SQL 解析处理,解析出分片信息(路由信息)后,然后到该分片对应的物理库上去执行;若传入的 SQL 语句 MyCat 无法解析,则 MyCat 不会去执行;而注解则是告诉 MyCat 按照注解内的 SQL(称之为注解 SQL)去进行解析处理,解析出分片信息后,将注解后真正要执行的 SQL 语句(称之为原始 SQL)发送到该分片对应的物理库上去执行。

 

注解使用示例

注解支持的'!'不被 mysql 单库兼容,

注解支持的'#'不被 mybatis 兼容

新增加 mycat 字符前缀标志 Hintsql:"/** mycat: */"

从 1.6 开始支持三种注解方式:

/*#mycat:db_type=master*/ select * from travelrecord

/*!mycat:db_type=slave*/ select * from travelrecord

/**mycat:db_type=master*/ select * from travelrecord

1. Mycat 端执行存储创建表或存储过程为:

存储过程:

/*!mycat: sql=select 1 from test */ CREATE PROCEDURE `test_proc`() BEGIN END ;

表:

/*!mycat: sql=select 1 from test */create table test2(id int);

注意注解中语句是节点的表请替换成自己表如 select 1 from 表 ,注解内语句查出来的数据在哪个分片,数

据在那个节点往哪个节点建.

2. 特殊语句自定义分片:

/*!mycat: sql=select 1 from test */insert into t_user(id,name) select id,name from t_user2;

3. 读写分离

配置了 Mycat 读写分离后,默认查询都会从读节点获取数据,但是有些场景需要获取实时数据,如果从读节

点获取数据可能因延时而无法实现实时,Mycat 支持通过注解/*balance*/来强制从写节点查询数据:

a. 事务内的 SQL,默认走写节点,以注解/*balance*/开头,则会根据 schema.xml 的 dataHost 标签属性的

balance=“1”或“2”去获取节点

b. 非事务内的 SQL,开启读写分离默认根据 balance=“1”或“2”去获取,以注解/*balance*/开头则会走写节

点解决部分已经开启读写分离,但是需要强一致性数据实时获取的场景走写节点

/*balance*/ select a.* from customer a where a.company_id=1;

4. 多表 ShareJoin

/*!mycat:catlet=demo.catlets.ShareJoin */ select a.*,b.id, b.name as tit from customer a,company b on

a.company_id=b.id;

5.读写分离数据源选择

/*!mycat:db_type=master*/ select * from travelrecord

/*!mycat:db_type=slave*/ select * from travelrecord

/*#mycat:db_type=master*/ select * from travelrecord

/*#mycat:db_type=slave*/ select * from travelrecord

6、多租户使用

 

备注:并非所有的注解Mycat都支持,Mycat只支持特定的注解,具体需要看不同版本,参照相关的文档构建实验环境来进行验证。

 

http://blog.csdn.net/gaojingsong/article/details/53244260

一、Mycat之分片--节点--主机

分片节点(dataNode)

数据切分后,一个大表被分到不同的分片数据库上面,每个表分片所在的数据库就是分片节(dataNode)。

 

节点主机(dataHost)

数据切分后,每个分片节点(dataNode)不一定都会独占一台机器,同一机器上面可以有多个分片数据库,

这样一个或多个分片节点(dataNode)所在的机器就是节点主机(dataHost),为了规避单节点主机并发数限

制,尽量将读写压力高的分片节点(dataNode)均衡的放在不同的节点主机(dataHost)

 

分片规则(rule)

前面讲了数据切分,一个大表被分成若干个分片表,就需要一定的规则,这样按照某种业务规则把数据分到

某个分片的规则就是分片规则,数据切分选择合适的分片规则非常重要,将极大的避免后续数据处理的难度。

 

全局序列号(sequence)

数据切分后,原有的关系数据库中的主键约束在分布式条件下将无法使用,因此需要引入外部机制保证数据

唯一性标识,这种保证全局性的数据唯一标识的机制就是全局序列号(sequence)。

 

二、Mycat之多租户

多租户技术或称多重租赁技术,是一种软件架构技术,它是在探讨与实现如何于多用户的环境下共用相同的

系统或程序组件,并且仍可确保各用户间数据的隔离性。在云计算时代,多租户技术在共用的数据中心以单一系统架构与服务提供多数客户端相同甚至可定制化的服务,并且仍然可以保障客户的数据隔离。目前各种各样的云计算服务就是这类技术范畴,例如阿里云数据库服务(RDS)、阿里云服务器等等。

多租户在数据存储上存在三种主要的方案,分别是:

独立数据库

这是第一种方案,即一个租户一个数据库,这种方案的用户数据隔离级别最高,安全性最好,但成本也高。

优点:

为不同的租户提供独立的数据库,有助于简化数据模型的扩展设计,满足不同租户的独特需求;

如果出现故障,恢复数据比较简单。

缺点:

增大了数据库的安装数量,随之带来维护成本和购置成本的增加。

这种方案与传统的一个客户、一套数据、一套部署类似,差别只在于软件统一部署在运营商那里。如果面对

的是银行、医院等需要非常高数据隔离级别的租户,可以选择这种模式,提高租用的定价。如果定价较低,产品走低价路线,这种方案一般对运营商来说是无法承受的。

 

共享数据库,隔离数据架构

这是第二种方案,即多个或所有租户共享 Database,但是每个租户一个 Schema

优点:

为安全性要求较高的租户提供了一定程度的逻辑数据隔离,并不是完全隔离;每个数据库可以支持更多的租

户数量。

缺点:

如果出现故障,数据恢复比较困难,因为恢复数据库将牵扯到其他租户的数据;

如果需要跨租户统计数据,存在一定困难。

 

共享数据库,共享数据架构

这是第三种方案,即租户共享同一个 Database、同一个 Schema,但在表中通过 TenantID 区分租户的数

据。这是共享程度最高、隔离级别最低的模式。

优点:

三种方案比较,第三种方案的维护和购置成本最低,允许每个数据库支持的租户数量最多。

缺点:

隔离级别最低,安全性最低,需要在设计开发时加大对安全的开发量;

数据备份和恢复最困难,需要逐表逐条备份和还原。

如果希望以最少的服务器为最多的租户提供服务,并且租户接受以牺牲隔离级别换取降低成本,这种方案最

适合。

 

 

 

三、Mycat多租户解决方案:

通过注解方式在配置多个 schema 情况下,指定走哪个配置的 schema。

Mycat多租户实现原理

1)web 部分修改:

a.在用户登录时,在线程变量(ThreadLocal)中记录租户的 id

b.修改 jdbc 的实现:在提交 sql 时,从 ThreadLocal 中获取租户 id, 添加 sql 注释,把租户的 schema

放到注释中。例如:/*!mycat : schema = test_01 */ sql ;

 

2)DB层代理转发:

在 db 前面建立 proxy 层,代理所有 web 过来的数据库请求。proxy 层是用 mycat 实现的,web 提交

的 sql 过来时在注释中指定 schema, proxy 层根据指定的 schema 转发 sql 请求。

/*!mycat : schema = test_01 */ sql ;

 

四、Mycat注解介绍

MyCat 对自身不支持的 Sql 语句提供了一种解决方案——在要执行的 SQL 语句前添加额外的一段由注解

SQL 组织的代码,这样 Sql 就能正确执行,这段代码称之为“注解”。注解的使用相当于对 mycat 不支持的 sql语句做了一层透明代理转发,直接交给目标的数据节点进行 sql 语句执行,其中注解 SQL 用于确定最终执行 SQL的数据节点。注解的形式是:

/*!mycat: sql=注解 Sql 语句*/

注解的使用方式是:

/*!mycat: sql=注解 Sql 语句*/真正执行 Sql

使用时将=号后的“注解 Sql 语句”替换为需要的 Sql 语句即可,后面会提到具体的用法。

 

注解原理

MyCat 执行 SQL 语句的流程是先进行 SQL 解析处理,解析出分片信息(路由信息)后,然后到该分片对应的物理库上去执行;若传入的 SQL 语句 MyCat 无法解析,则 MyCat 不会去执行;而注解则是告诉 MyCat 按照注解内的 SQL(称之为注解 SQL)去进行解析处理,解析出分片信息后,将注解后真正要执行的 SQL 语句(称之为原始 SQL)发送到该分片对应的物理库上去执行。

 

注解使用示例

注解支持的'!'不被 mysql 单库兼容,

注解支持的'#'不被 mybatis 兼容

新增加 mycat 字符前缀标志 Hintsql:"/** mycat: */"

从 1.6 开始支持三种注解方式:

/*#mycat:db_type=master*/ select * from travelrecord

/*!mycat:db_type=slave*/ select * from travelrecord

/**mycat:db_type=master*/ select * from travelrecord

1. Mycat 端执行存储创建表或存储过程为:

存储过程:

/*!mycat: sql=select 1 from test */ CREATE PROCEDURE `test_proc`() BEGIN END ;

表:

/*!mycat: sql=select 1 from test */create table test2(id int);

注意注解中语句是节点的表请替换成自己表如 select 1 from 表 ,注解内语句查出来的数据在哪个分片,数

据在那个节点往哪个节点建.

2. 特殊语句自定义分片:

/*!mycat: sql=select 1 from test */insert into t_user(id,name) select id,name from t_user2;

3. 读写分离

配置了 Mycat 读写分离后,默认查询都会从读节点获取数据,但是有些场景需要获取实时数据,如果从读节

点获取数据可能因延时而无法实现实时,Mycat 支持通过注解/*balance*/来强制从写节点查询数据:

a. 事务内的 SQL,默认走写节点,以注解/*balance*/开头,则会根据 schema.xml 的 dataHost 标签属性的

balance=“1”或“2”去获取节点

b. 非事务内的 SQL,开启读写分离默认根据 balance=“1”或“2”去获取,以注解/*balance*/开头则会走写节

点解决部分已经开启读写分离,但是需要强一致性数据实时获取的场景走写节点

/*balance*/ select a.* from customer a where a.company_id=1;

4. 多表 ShareJoin

/*!mycat:catlet=demo.catlets.ShareJoin */ select a.*,b.id, b.name as tit from customer a,company b on

a.company_id=b.id;

5.读写分离数据源选择

/*!mycat:db_type=master*/ select * from travelrecord

/*!mycat:db_type=slave*/ select * from travelrecord

/*#mycat:db_type=master*/ select * from travelrecord

/*#mycat:db_type=slave*/ select * from travelrecord

6、多租户使用

 

备注:并非所有的注解Mycat都支持,Mycat只支持特定的注解,具体需要看不同版本,参照相关的文档构建实验环境来进行验证。

 

http://blog.csdn.net/gaojingsong/article/details/53244260

Guess you like

Origin http://43.154.161.224:23101/article/api/json?id=326530058&siteId=291194637