序言
反向解析Sql的几种方式进行梳理学习[email protected]
参考信息:
druid 的 sql parser
SQL Parser是Druid的一个重要组成部分，Druid内置使用SQL Parser来实现防御SQL注入（WallFilter）、合并统计没有参数化的SQL(StatFilter的mergeSql)、SQL格式化、分库分表。
和Antlr生成的SQL有很大不同的是，Druid SQL Parser性能非常好，可以用于生产环境直接对SQL进行分析处理。
Druid SQL Parser的使用场景
MySql SQL全量统计
Hive/ODPS SQL执行安全审计
分库分表SQL解析引擎
数据库引擎的SQL Parser
SQL翻译 ----即将mysql的方言的sql 转换为 oracle方言的sql
语法支持
数据库 |
DML |
DDL |
完全支持 |
完全支持 |
|
mysql |
完全支持 |
完全支持 |
postgresql |
完全支持 |
完全支持 |
oracle |
支持大部分 |
支持大部分 |
sql server |
支持常用的 |
支持常用的ddl |
db2 |
支持常用的 |
支持常用的ddl |
hive |
支持常用的 |
支持常用的ddl |
druid还缺省支持sql-92标准的语法，所以也部分支持其他数据库的sql语法。
性能
Druid的SQL Parser是手工编写，性能非常好，目标就是在生产环境运行时使用的SQL Parser，性能比antlr、javacc之类工具生成的Parser快10倍甚至100倍以上。
SELECT ID, NAME, AGE FROM USER WHERE ID = ?
这样的SQL，druid parser处理大约是600纳秒，也就是说单线程每秒可以处理1500万次以上。在1.1.3~1.1.4版本中，SQL Parser的性能有极大提升，完全可以适用于生产环境中对SQL进行处理。
--------最简单的sql是每秒1500万次的解析处理[email protected]
方言
SQL-92、SQL-99等都是标准SQL，mysql/oracle/pg/sqlserver/odps等都是方言，也就是dialect。parser/ast/visitor都需要针对不同的方言进行特别处理。
SchemaRepository
Druid SQL Parser内置了一个SchemaRepository，在内存中缓存SQL Schema信息，用于SQL语义解析中的ColumnResolve等操作。 https://github.com/alibaba/druid/wiki/SQL_Schema_Repository
SQL翻译
可以基于Druid SQL Parser之上构造Oracle SQL到其他数据的SQL翻译。比如Aliyun提供的Oracle到MySql的SQL翻译功能，就是基于Druid基础上实现的。https://rainbow-expert.aliyun.com/sqltransform.htm
Druid SQL Parser的代码结构
Druid SQL Parser分三个模块：
Parser
AST
Visitor
parser
parser是将输入文本转换为ast（抽象语法树），
parser有包括两个部分，Parser和Lexer，其中Lexer实现词法分析，Parser实现语法分析。
AST
AST是Abstract Syntax Tree的缩写，也就是抽象语法树。AST是parser输出的结果。下面是获得抽象语法树的一个例子：
finalStringdbType = JdbcConstants.MYSQL; // 可以是ORACLE、POSTGRESQL、SQLSERVER、ODPS等Stringsql = "select * from t";
List<SQLStatement> stmtList = SQLUtils.parseStatements(sql, dbType);
Druid SQL AST介绍 https://github.com/alibaba/druid/wiki/Druid_SQL_AST
Visitor
Visitor是遍历AST的手段，是处理AST最方便的模式，Visitor是一个接口，有缺省什么都没做的实现VistorAdapter。
我们可以实现不同的Visitor来满足不同的需求，Druid内置提供了如下Visitor:
OutputVisitor用来把AST输出为字符串
WallVisitor 来分析SQL语意来防御SQL注入攻击
ParameterizedOutputVisitor用来合并未参数化的SQL进行统计
EvalVisitor 用来对SQL表达式求值
ExportParameterVisitor用来提取SQL中的变量参数
SchemaStatVisitor 用来统计SQL中使用的表、字段、过滤条件、排序表达式、分组表达式
SQL格式化 Druid内置了基于语义的SQL格式化功能
自定义Visitor---这里是重点,默认提供的可能不能满足我们的要求,实际就是自己解析AST
每种方言的Visitor都有一个缺省的VisitorAdapter，使得编写自定义的Visitor更方便。 https://github.com/alibaba/druid/wiki/SQL_Parser_Demo_visitor
示例
package nan.yao.cui.others;
import com.alibaba.druid.sql.SQLUtils;
import com.alibaba.druid.sql.ast.SQLExpr;
import com.alibaba.druid.sql.ast.SQLStatement;
import com.alibaba.druid.sql.ast.expr.SQLBinaryOpExpr;
import com.alibaba.druid.sql.ast.statement.*;
import com.alibaba.druid.sql.visitor.SQLASTVisitorAdapter;
import com.alibaba.druid.sql.visitor.SchemaStatVisitor;
import com.alibaba.druid.util.JdbcConstants;
import java.util.List;
/**
* @Author: [email protected]
* @Description: todo
* @Date: Created at 2022-11-23 17:03
*/
public class Test3 {
public static void main(String[] args){
String sql = "select age as student_age, " +
"(select name from class c where c.id = t.class_id )from student t" +
" where t.age <10 ";
String sql1 = "select t.*, " +
"(select name from class c where c.id = t.class_id )from student t" +
" where t.age <10 ";
String sql2 = "select t.*, " +
"(select name from class c where c.id = t.class_id )from student t" +
" left join address d on d.id = t.address_id" +
" where t.age <10 and t.id>20 and t.name like '大' or t.id is not null";
List<SQLStatement> stmtList = SQLUtils.parseStatements(sql2, JdbcConstants.MYSQL);
for(int i = 0 ; i< stmtList.size();i++){
SQLStatement sqlStatement = stmtList.get(i);
if( sqlStatement instanceof SQLSelectStatement){
SQLSelectStatement a = (SQLSelectStatement)sqlStatement;
//如下的访问相当于把 sql解析的非常细,但是不方便弄清里面的所有结构
SchemaStatVisitor statVisitor = SQLUtils.createSchemaStatVisitor(JdbcConstants.MYSQL);
sqlStatement.accept(statVisitor);
MyVisitorAdapter myVisitorAdapter = new MyVisitorAdapter();
sqlStatement.accept(myVisitorAdapter);
}
if( sqlStatement instanceof SQLUpdateStatement){
}
if( sqlStatement instanceof SQLDeleteStatement){
}
if( sqlStatement instanceof SQLInsertStatement){
}
}
}
public static class MyVisitorAdapter extends SQLASTVisitorAdapter{
@Override
public boolean visit(SQLSelect x) {
// System.out.println(x.getQueryBlock());
return true;
}
@Override
public boolean visit(SQLSelectQueryBlock x) {
System.out.println("");
System.out.println("---------------visit---------------");
List<SQLSelectItem> selectItemList = x.getSelectList();
/* selectItemList.forEach(selectItem -> {
System.out.println("attr:" + selectItem.getAttributes());
System.out.println("expr:" + SQLUtils.toMySqlString(selectItem.getExpr()));
});
*/
// System.out.println("返回字段"+ x.getSelectList());
x.getSelectList().forEach(e->{
System.out.println("查询字段:"+e.getExpr() + "查询字段的别名:"+e.getAlias());
});
System.out.println("from:" + SQLUtils.toMySqlString(x.getFrom()));
System.out.println("where:" + SQLUtils.toMySqlString(x.getWhere()));
SQLExpr sqlExpr = x.getWhere();
System.out.println("where 后面的参数和判断条件如下所示");
printParameter(sqlExpr);
return true;
}
public void endVisit(SQLSelectQueryBlock x) {
/* System.out.println("---------------endVisit---------------");
x.getSelectList().forEach(e->{
System.out.println("查询字段:"+e.getExpr() + "查询字段的别名:"+e.getAlias());
});
System.out.println("from:" + SQLUtils.toMySqlString(x.getFrom()));
System.out.println("where:" + SQLUtils.toMySqlString(x.getWhere()));
x.getSelectList();*/
}
private void printParameter(SQLExpr sqlboe){
if(sqlboe instanceof SQLBinaryOpExpr){
SQLExpr left = ((SQLBinaryOpExpr)sqlboe).getLeft();
printParameter(left);
System.out.print(" "+((SQLBinaryOpExpr)sqlboe).getOperator()+" ");
SQLExpr right = ((SQLBinaryOpExpr)sqlboe).getRight();
printParameter(right);
}else{
System.out.print(sqlboe);
}
}
}
}