数据库路由中间件MyCat - 源代码篇（14）

此文已由作者张镐薪授权网易云社区发布。

欢迎访问网易云社区，了解更多网易技术产品运营经验。

对于表的dataNode对应关系，有个特殊配置即类似dataNode="distributed(dn$1-10)"，这个含义是：

/**
     * distribute datanodes in multi hosts,means ,dn1 (host1),dn100
     * (host2),dn300(host3),dn2(host1),dn101(host2),dn301(host3)...etc
     *    将每个host上的datanode按照host重新排列。比如上面的例子host1拥有dn1,dn2，host2拥有dn100，dn101，host3拥有dn300，dn301,
     * 按照host重新排列： 0->dn1 (host1),1->dn100(host2),2->dn300(host3),3->dn2(host1),4->dn101(host2),5->dn301(host3)
     *
     * @param theDataNodes
     */
    private void distributeDataNodes(ArrayList<String> theDataNodes) {
        Map<String, ArrayList<String>> newDataNodeMap = new HashMap<String, ArrayList<String>>(dataHosts.size());        for (String dn : theDataNodes) {
            DataNodeConfig dnConf = dataNodes.get(dn);
            String host = dnConf.getDataHost();
            ArrayList<String> hostDns = newDataNodeMap.get(host);
            hostDns = (hostDns == null) ? new ArrayList<String>() : hostDns;
            hostDns.add(dn);
            newDataNodeMap.put(host, hostDns);
        }

        ArrayList<String> result = new ArrayList<String>(theDataNodes.size());        boolean hasData = true;        while (hasData) {
            hasData = false;            for (ArrayList<String> dns : newDataNodeMap.values()) {                if (!dns.isEmpty()) {
                    result.add(dns.remove(0));
                    hasData = true;
                }
            }
        }
        theDataNodes.clear();
        theDataNodes.addAll(result);
    }

读取完所有表之后，记录好DB类型，这对之后的sql语句路由解析有帮助。将所有schema的配置保存在：

private final Map<String, SchemaConfig> schemas;

4.3 server.xml

之后会读取载入server配置。XMLConfigLoader.java:

public XMLConfigLoader(SchemaLoader schemaLoader) {
    XMLServerLoader serverLoader = new XMLServerLoader();    this.system = serverLoader.getSystem();    this.users = serverLoader.getUsers();    this.quarantine = serverLoader.getQuarantine();    this.cluster = serverLoader.getCluster();    this.dataHosts = schemaLoader.getDataHosts();    this.dataNodes = schemaLoader.getDataNodes();    this.schemas = schemaLoader.getSchemas();
    schemaLoader = null;
}

XMLServerLoader.java

public XMLServerLoader() {    this.system = new SystemConfig();    this.users = new HashMap<String, UserConfig>();    this.quarantine = new QuarantineConfig();    this.load();
}private void load() {    //读取server.xml配置
    InputStream dtd = null;
    InputStream xml = null;    try {
        dtd = XMLServerLoader.class.getResourceAsStream("/server.dtd");
        xml = XMLServerLoader.class.getResourceAsStream("/server.xml");
        Element root = ConfigUtil.getDocument(dtd, xml).getDocumentElement();        //加载System标签
        loadSystem(root);        //加载User标签
        loadUsers(root);        //加载集群配置
        this.cluster = new ClusterConfig(root, system.getServerPort());        //加载权限和黑白名单
        loadQuarantine(root);
    } catch (ConfigException e) {        throw e;
    } catch (Exception e) {        throw new ConfigException(e);
    } finally {        if (dtd != null) {            try {
                dtd.close();
            } catch (IOException e) {
            }
        }        if (xml != null) {            try {
                xml.close();
            } catch (IOException e) {
            }
        }
    }
}

首先加载System标签

5. 路由模块

5.1 路由模块组成：

路由模块，我们可以先把他当做个黑盒，看下输入和输出都是神马。这里写图片描述输入，很明显，就是个SQL语句，原生的，不加任何修饰的，纯洁的，从客户端发过来刚刚被解码的SQL语句。输出呢？就是个优化，改写后的SQL语句，以及要发送到的后台分片。这个RouteResultSet就是输出，长什么样子呢？下图是主要涉及到的类：这里写图片描述

RouteResultSet：

sqlType：SQL类型（select？insert？…）
nodes: 语句和Datanode对应关系。一条语句可以根据不同节点拆成多条不同语句
subTables：分表，1.6后功能，单node多表
sqlStatement：经过DruidParser解析后的语句
limitStart，limitSize：含有limit的SQL的起始点和长度
cacheAble：是否可以缓存（MyCat缓存中会保存SQL(key)->RouteResultSet(value)）
primaryKey：为了实现以后完整的主键缓存而预留
sqlMerge：带有合并函数的sql语句处理类
callStatement：是否为调用存储过程的语句（call）
globalTableFlag：操作表是否包含全局表
isFinishedRoute：是否路由完成
autocommit：是否为自动提交
isLoadData：是否是LoadData命令
canRunInReadDb：是否能在读节点上运行
runOnSlave：是否在从节点上运行
procedure：调用存储过程处理类

RouteResultSetNode：

serialVersionUID：全局序列化类版本标识
name：数据节点名称
statement：实际执行的语句
srcStatement：源语句
sqlType：sql类型
canRunInReadDB：是否可以在读节点运行
hasBlanceFlag：是否包含balance属性
hintMap：注解类型和注解sql语句的map
其他类似

对于路由模块，他需要完成的操作就是MyCat的核心功能之一，将前端发送过来的SQL语句路由到后面合适的分片上。那么，我们至少需要从SQL中解析出来这个SQL对应的是那张表，对应的分片规则是什么？有没有筛选条件，根据筛选条件我们是不是能路由到某几个分片上。是不是插入语句，需不需要生成全局唯一ID？等等等等 MyCat路由模块，大致上包括SQL语句分类，SQL语义解析，SQL语句改写，全局ID生成。这里写图片描述

5.2 SQL语句分类

首先，我们先回顾下，SQL语句通过客户端发送给了MyCat，MyCat在前端连接模块完成包解码，在这之后，对SQL语句进行分类处理（其实就是构建自己一套简单的语法分支）。如何分类？其实就是通过语句第一个词先进行第一步分类：这里写图片描述

ServerQueryHandler.java:

public void query(String sql) {

        ServerConnection c = this.source;        if (LOGGER.isDebugEnabled()) {
            LOGGER.debug(new StringBuilder().append(c).append(sql).toString());
        }        //
        int rs = ServerParse.parse(sql);        int sqlType = rs & 0xff;        switch (sqlType) {        //explain sql
        case ServerParse.EXPLAIN:
            ExplainHandler.handle(sql, c, rs >>> 8);            break;        //explain2 datanode=? sql=?
        case ServerParse.EXPLAIN2:
            Explain2Handler.handle(sql, c, rs >>> 8);            break;        case ServerParse.SET:
            SetHandler.handle(sql, c, rs >>> 8);            break;        case ServerParse.SHOW:
            ShowHandler.handle(sql, c, rs >>> 8);            break;        case ServerParse.SELECT:            if(QuarantineHandler.handle(sql, c)){
                SelectHandler.handle(sql, c, rs >>> 8);
            }            break;        case ServerParse.START:
            StartHandler.handle(sql, c, rs >>> 8);            break;        case ServerParse.BEGIN:
            BeginHandler.handle(sql, c);            break;        //不支持oracle的savepoint事务回退点
        case ServerParse.SAVEPOINT:
            SavepointHandler.handle(sql, c);            break;        case ServerParse.KILL:
            KillHandler.handle(sql, rs >>> 8, c);            break;        //不支持KILL_Query
        case ServerParse.KILL_QUERY:
            LOGGER.warn(new StringBuilder().append("Unsupported command:").append(sql).toString());
            c.writeErrMessage(ErrorCode.ER_UNKNOWN_COM_ERROR,"Unsupported command");            break;        case ServerParse.USE:
            UseHandler.handle(sql, c, rs >>> 8);            break;        case ServerParse.COMMIT:
            c.commit();            break;        case ServerParse.ROLLBACK:
            c.rollback();            break;        case ServerParse.HELP:
            LOGGER.warn(new StringBuilder().append("Unsupported command:").append(sql).toString());
            c.writeErrMessage(ErrorCode.ER_SYNTAX_ERROR, "Unsupported command");            break;        case ServerParse.MYSQL_CMD_COMMENT:
            c.write(c.writeToBuffer(OkPacket.OK, c.allocate()));            break;        case ServerParse.MYSQL_COMMENT:
            c.write(c.writeToBuffer(OkPacket.OK, c.allocate()));            break;            case ServerParse.LOAD_DATA_INFILE_SQL:
                c.loadDataInfileStart(sql);                break;        default:            if(readOnly){
                LOGGER.warn(new StringBuilder().append("User readonly:").append(sql).toString());
                c.writeErrMessage(ErrorCode.ER_USER_READ_ONLY, "User readonly");                break;
            }            if(QuarantineHandler.handle(sql, c)){
                c.execute(sql, rs & 0xff);
            }
        }
    }

每种语句都有自己对应的Handler，我们这里将用Select语句举例。第一个词决定语句是什么类型（CURD）的，第二个词将更细粒度的区分语句，这里是不同的Select。首先我们思考下，不是所有的select语句都需要路由到后面数据库的。比如 select version这样的语句，可以直接回复MyCat的version。还有select LAST_INSERT_ID这样的（MyCat），上次插入的全局ID是在MyCat会缓存的。所以，MyCat对于select的第二个词也做解析，可以将select语句分为可以直接回复的和必须路由到后面分片得到结果的。SelectHandler.java:

免费体验云安全(易盾)内容安全、验证码等服务

更多网易技术、产品、运营经验分享请点击。