讲述最值得你了解的sqltoy-orm最佳查询实践

sqltoy-orm（https://github.com/chenrenfei/sagacity-sqltoy）

开发的起因是因为一次非常偶然的机会发现了数据库查询的奥秘，因为这个发现在我负责的项目中，几乎所有人都不必太care数据库交互。

很多时候大家发现项目卡慢的时候总是考虑用更强大的机器、更多的集群规模来解决问题，但忽视了很多问题都是因为数据库交互性能导致的。一谈到解决数据库查询性能，很多人是言必称mybatis，因为他名气大可以理解！

但我今天在此要分享给大家的则是另辟蹊径非常独特的orm框架“sqltoy-orm”：

首先我们带着几个问题展开：

1、数据库的动态查询大家是怎么做的？myBatis那种xml中<if test=""></if> 优雅吗？条件多的时候直观吗？后期维护清晰便捷吗？

2、大家的分页是怎么弄的？如果查询员工表，同时需要关联员工的机构名称，你是查询出10条再关联机构表还是直接关联机构表然后取10条记录呢？

3、大家分页是不是每次做2次查询，一次查询总记录数，然后再查10条记录？能不能再优化？

4、大家做查询的时候需要多次关联数据字典表，有没有更好的办法提升性能？

5、大家的动态查询会不会存在sql注入问题？

当然还有很多类似的实战性问题，比如树形结构的查询、数据旋转等等。

但是我这里可以比较肯定的说，上述5条myBatis做的都不好，而sqltoy则绝对的惊艳，让人感到匪夷所思！

首先我们对比一下

mybatis的动态查询（sql要是复杂一点看起来够累）

sqltoy-orm的动态查询编写方式

两者之间谁更容易看的懂？谁更有利于后期的维护？毫无疑问，sqltoy的编写模式保留了从客户端编写调试后完整sql的风格，这还是一个2个条件的查询，要是十个八个的，

尤其mybatis in处理还整出一个foreach；还有choose等，而sqltoy针对in 自动构造（？，？，？），针对choose 则可以通过 #[ #[] ] 形式的嵌套就可以解决。

让框架苦逼，让开发者爽，这才是框架的真谛！

谈及sql查询编写的直观性，很多人说是开发者不会用mybatis所以写的难以理解，又有人说查询一般就2到4个条件！但sqltoy针对这些问题的思路是这样的：

1、不给你写出看不懂的sql机会，统一的sql写法：从客户端调试完直接copy进来，写出了之后就是统一的风格。修改的时候copy出去放入客户端再调试修改。这种模式是否最贴切项目实践过程？mybatis你就不停剔除或增加<if>吧！

2、不给你sql注入的机会，所有参数都转成预编译模式。

3、sqltoy给你留下足够的手段和措施，不需要的时候不影响你，万一需要的时候呢？

那为什么sqltoy可以这么书写？大家有没有发现一个规律:你的参数为null或者为空白99.9%表示在页面上用户没有做选择，即不用参与查询，#[] 就等于if(xx!=null){}，相当于一个约定。

当然会有极少的例外(什么是框架？框架就应该较方便的解决85%以上的普遍问题，针对特殊问题提供解决手段)。

展示一下完整的sqltoy动态查询以及分页、缓存翻译、快速分页、分页优化的配置

第一：运用了快速分页，先分页再关联，提升效率。

第二：运用了缓存翻译(可以配置多个translate)，巧妙自然的将缓存跟数据库查询框架集成（很多人会说，我自己写代码从缓存里面循环翻译，my God! 你不嫌累你去写吧）

第三：配置了分页优化器，利用缓存机制将对应查询条件的总记录数缓存下来（设置缓存数量和缓存有效时长），从而避免了每次分页查询都执行两次查询。

当然sqltoy的普通的分页查询内部机制不是简单的根据不同数据库类型进行sql包裹，尤其对count语句的处理进行了优化，比如去除order by 、智能判断是否直接去除from前的语句用select count(1) 代替等。

sqltoy通过filters来规范和处理查询参数

如上图，通过filters中的约定的一些标准逻辑处理，规范参数的值和格式，达到确保#[] 符合逻辑抽象的合法性。

sqltoy的sql简单查询范例：sqlToyLazyDao是sqltoy默认提供dao实现，可以让开发者不必要针对简单的逻辑写一个dao类。sqltoy默认提供了分页、取top、取随机记录等等的实现机制，不需要开发者

针对这种非常基础的功能去寻找插件（个人认为框架就必须要提供这种常规的功能，针对相对偏僻的功能提供默认实现，同时提供好扩展的口子）。

简单范例如下：

sqltoy实现行列转换

<!-- 列转行测试 -->
	<sql id="sys_unpvoitSearch">
		<value>
		<![CDATA[
		SELECT TRANS_DATE, 
		       sum(TOTAL_AMOUNT) TOTAL_AMOUNT,
		       sum(PERSON_AMOUNT) PERSON_AMOUNT,
		       sum(COMPANY_AMOUNT) COMPANY_AMOUNT
		FROM sys_unpivot_data
		group by TRANS_DATE
		]]>
		</value>
		<!-- 将指定的列变成行(这里3列变成了3行) -->
		<unpivot columns="TOTAL_AMOUNT:总金额,PERSON_AMOUNT:个人金额,COMPANY_AMOUNT:企业金额"
			values-as-column="TRANS_AMOUNT" labels-as-column="AMOUNT_TYPE" />
	</sql>

	<!-- 行转列测试 -->
	<sql id="sys_pvoitSearch">
		<value>
		<![CDATA[
		select t.TRANS_DATE,t.TRANS_CHANNEL,TRANS_CODE,sum(t.TRANS_AMT) TRANS_AMT from sys_summary_case t
		group by t.TRANS_DATE,t.TRANS_CHANNEL,TRANS_CODE
		order by t.TRANS_DATE,t.TRANS_CHANNEL,TRANS_CODE
		]]>
		</value>
		<pivot category-columns="TRANS_CHANNEL,TRANS_CODE" start-column="TRANS_AMT"
			default-value="0" default-type="decimal" end-column="TRANS_AMT"
			group-columns="TRANS_DATE" />
	</sql>

sqltoy实现分组汇总求平均

<!-- 汇总计算 (场景是sql先汇总，页面上还需要对已有汇总再汇总的情况,如果用sql实现在跨数据库的时候就存在问题)-->
	<sql id="sys_summarySearch">
		<sharding-datasource strategy="multiDataSource" />
		<value>
		<![CDATA[
		select	t.TRANS_CHANNEL,t.TRANS_CODE,sum( t.TRANS_AMT )
		from sys_summary_case t
		group by t.TRANS_CHANNEL,t.TRANS_CODE
		]]>
		</value>
		<summary columns="2" reverse="true" sum-site="left"
			radix-size="2">
			<global sum-label="总计" label-column="0" />
                        <!-- 可以无限层级的分组下去-->
			<group sum-label="小计/平均" label-column="0" group-column="0"
				average-label="平均" />
		</summary>
	</sql>

sqltoy实现分库分表查询:具体分库分表策略可以由开发者自行定义，sqltoy只提供几种默认的策略

分库分表策略定义(spring中定义bean):

<!-- 所有分库分表策略开发者可以自行实现接口进行拓展 -->
	<!-- 按照周期范围进行分表查询 -->
	<bean id="historyTableStrategy" name="dateHisTable"
		class="org.sagacity.sqltoy.plugin.sharding.DefaultShardingStrategy"
		init-method="initialize">
		<!-- 多少天内查询实时表,可以用逗号分隔,如:value="360,35,1" -->
		<property name="days" value="14" />
		<property name="dateParams"
			value="createTime,beginDate,bizDate,beginTime,bizTime" />
		<!-- 实时表和历史表对照 -->
		<property name="tableNamesMap">
			<map>
				<!-- value可用逗号分隔,跟days对应 ,如:value="a,b,c" -->
				<entry key="SYS_SHARDING_REAL" value="SYS_SHARDING_HIS" />
			</map>
		</property>
	</bean>

	<!-- 按照权重进行分库查询分流策略-->
	<bean id="dataSourceStrategy" name="multiDataSource"
		class="org.sagacity.sqltoy.plugin.sharding.DefaultShardingStrategy"
		init-method="initialize">
		<!-- 不同数据库的分配权重 -->
		<property name="dataSourceWeight">
			<map>
				<entry key="dataSource" value="30" />
				<entry key="dataSourceView" value="70" />
			</map>
		</property>
                <!-- 数据库有效性检测时间间隔秒数,小于等于0表示不自动检测数据库 -->
		<property name="checkSeconds" value="180"/>
	</bean>

	<!-- 按照hash取模进行分库和分表策略 -->
	<bean id="hashDataSourceSharding" name="hashDataSourceSharding"
		class="org.sagacity.sqltoy.plugin.sharding.HashShardingStrategy"
		init-method="initialize">
		<!-- 不同数据库的分配权重 -->
		<property name="dataSourceMap">
			<map>
				<entry key="0" value="dataSource" />
				<entry key="1" value="sharding1" />
				<entry key="2" value="sharding2" />
			</map>
		</property>
		<!-- 分表-->
		<property name="tableMap">
			<map>
				<entry key="0" value="SYS_STAFF_INFO" />
				<entry key="1" value="SYS_STAFF_INFO_1" />
			</map>
		</property>	
	</bean>

<!-- 分表分库查询 -->
	<sql id="sys_findByShardingTime">
		<!-- 分库查询,将查询压力分担到多个数据库上 -->
		<sharding-datasource strategy="multiDataSource" />
		
		<!-- 分表查询:按数据热度分表,如：将最近30天的数据查询30天的表，其他查询历史表，提升查询效率 -->
		<sharding-table tables="sys_sharding_real" strategy="dateHisTable"
			params="beginTime" />
			
		<!-- 优化分页查询,核心是避免相同的查询条件每次查询总记录数量 -->
		<page-optimize alive-max="100" alive-seconds="600" />
		<value>
		<![CDATA[
		SELECT ID, STAFF_ID, POST_TYPE, CREATE_TIME, COMMENTS
		FROM sqltoy.sys_sharding_real t
		where t.CREATE_TIME between :beginTime and :endTime
		]]>
		</value>
	</sql>

sqltoy实现对象操作的分库分表

@SqlToyEntity
/*
 * db则是分库策略配置,table 则是分表策略配置，可以同时配置也可以独立配置
 * 策略name要跟spring中的bean定义name一致,fields表示要以对象的哪几个字段值作为判断依据,可以一个或多个字段
 * maxConcurrents:可选配置，表示最大并行数
 * maxWaitSeconds:可选配置，表示最大等待秒数
 */
@Sharding(db = @Strategy(name = "hashDataSourceSharding", fields = {
		"staffId" }), table = @Strategy(name = "hashDataSourceSharding", fields = {
				"staffId" }), maxConcurrents = 10, maxWaitSeconds = 3600)
public class StaffInfoVO extends AbstractStaffInfoVO {

sqltoy 快速分页查询:@fast()实现先分页再关联，同时此功能适用于取随机记录和top记录，如果非分页查询@fast会自动剔除，不影响查询。

<sql id="sys_findStaff">
<value>
<![CDATA[
 select t1.*,t2.ORGAN_NAME
 from @fast(select * from sys_staff_info t
	         where #[t.sexType=:sexType]
			  #[and t.JOIN_DATE>:beginDate]
			  #[and t.STAFF_NAME like :staffName]
                          #[and t.TECH_GROUP in (:techGroups)]
	         ) t1,sys_organ_info t2
where t1.ORGAN_ID=t2.ORGAN_ID
]]>
</value>
</sql>

sqltoy 实现跨数据库函数替换：开发者可以扩展IFunction接口实现其他函数的替换，从而实现软件产品的跨数据库能力。

<!-- 配置辅助sql处理工具用于sql查询条件的处理 -->
	<bean id="sqlToyContext" name="sqlToyContext" class="org.sagacity.sqltoy.SqlToyContext"
		init-method="initialize">
		<!-- 指定sql.xml 文件的路径实现目录的递归查找,非必须属性 -->
		<property name="sqlResourcesDir" value="classpath:sqltoy/showcase/" />
		<!-- 针对不同数据库函数进行转换,非必须属性 -->
		<property name="functionConverts">
			<list>
				<value>org.sagacity.sqltoy.plugin.function.SubStr</value>
				<value>org.sagacity.sqltoy.plugin.function.Trim</value>
				<value>org.sagacity.sqltoy.plugin.function.Instr</value>
				<value>org.sagacity.sqltoy.plugin.function.Concat</value>
				<value>org.sagacity.sqltoy.plugin.function.Nvl</value>
			</list>
		</property>
	</bean>

极端情况下动态sql后门@if()逻辑，@if支持简单的逻辑处理，包含：@if(:paramName>=xxx) 单逻辑和@if(:paramName1>=xxx2 || :paramName2<=xxx2) 双逻辑判断，对比符号：==、！=、<>、>=、>、<、<=，逻辑符号：|| 和 &&

<sql id="sag_if_test">
<value>
		<![CDATA[
		select t1.*,t2.ORGAN_NAME from 
		@fast(select * from sys_staff_info t
			  where #[t.sexType=:sexType]
			        #[and t.JOIN_DATE>:beginDate]
			        #[and t.STAFF_NAME like :staffName]
			        -- 是否虚拟员工@if()做逻辑判断
			        #[@if(:isVirtual==true||:isVirtual==0) and t.IS_VIRTUAL=1]
			        ) t1,sys_organ_info t2
	    where t1.ORGAN_ID=t2.ORGAN_ID
		]]>	
		</value>
</sql>

讲述最值得你了解的sqltoy-orm最佳查询实践

猜你喜欢