Mycat 中间件配置实践

1.官方下载地址
https://github.com/MyCATApache/Mycat-Server/wiki/2.0-Mycat%E5%AE%89%E8%A3%85%E4%B8%8E%E4%BD%BF%E7%94%A8

推荐文档：http://songwie.com/teachs?searthstr=Mycat&start=0&limit=100

注：mycat 使用java实现,需要安装java运行环境

2.内存配置

启动前，一般需要修改JVM配置参数，打开conf/wrapper.conf文件，如下行的内容为2G和2048，可根据本机配置情况修改为512M或其它值。 以下配置跟jvm参数完全一致，可以根据自己的jvm参数调整。

Java Additional Parameters

wrapper.java.additional.1=

wrapper.java.additional.1=-DMYCAT_HOME=.

wrapper.java.additional.2=-server

wrapper.java.additional.3=-XX:MaxPermSize=64M

wrapper.java.additional.4=-XX:+AggressiveOpts

wrapper.java.additional.5=-XX:MaxDirectMemorySize=100m

wrapper.java.additional.6=-Dcom.sun.management.jmxremote

wrapper.java.additional.7=-Dcom.sun.management.jmxremote.port=1984

wrapper.java.additional.8=-Dcom.sun.management.jmxremote.authenticate=false

wrapper.java.additional.9=-Dcom.sun.management.jmxremote.ssl=false

wrapper.java.additional.10=-Xmx100m

wrapper.java.additional.11=-Xms100m

wrapper.java.additional.12=-XX:+UseParNewGC

wrapper.java.additional.13=-XX:+UseConcMarkSweepGC

wrapper.java.additional.14=-XX:+UseCMSCompactAtFullCollection

wrapper.java.additional.15=-XX:CMSFullGCsBeforeCompaction=0

wrapper.java.additional.16=-XX:CMSInitiatingOccupancyFraction=70

注: 使用MySQL客户端连接MyCAT，需要注意的是，默认数据端口为8066，管理端口为9066，在MySQL客户端连接MyCAT时，注意填写端口为8066，用户名/密码根据server.xml中的配置进行填写。

3.配置文件详解–server.xml

server.xml 包含mycat的系统配置信息，它有两个标签，分别是user和system，掌握system标签的各项配置属性是mycat调优的关键。

<?xml version="1.0" encoding="UTF-8"?>
<!-- - - Licensed under the Apache License, Version 2.0 (the "License"); 
    - you may not use this file except in compliance with the License. - You 
    may obtain a copy of the License at - - http://www.apache.org/licenses/LICENSE-2.0 
    - - Unless required by applicable law or agreed to in writing, software - 
    distributed under the License is distributed on an "AS IS" BASIS, - WITHOUT 
    WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. - See the 
    License for the specific language governing permissions and - limitations 
    under the License. -->
<!DOCTYPE mycat:server SYSTEM "server.dtd">
<mycat:server xmlns:mycat="http://io.mycat/">
    <system>
    <!-- 配置该属性的时候一定要保证mycat的字符集和mysql 的字符集是一致的 -->  
    <property name="charset">utf8</property>  
    <!-- 指定每次分配socker direct buffer 的值，默认是4096字节 -->    
    <property name="processorBufferChunk">4096/property>   
    <!-- 配置系统可用的线程数量，默认值为CPU核心X每个核心运行线程的数量 -->  
    <property name="processors">4/property>   

    <!-- 指定BufferPool 的计算比例  默认值为bufferChunkSize(4096)X processors X 1000
    <property name="processorBufferPool">100000000/property> -->   

    <!-- 用来控制ThreadLocalPool 分配Pool的比例大小，默认值为100
    <property name="processorBufferLocalPercent">100/property> -->

    <!-- 用来指定Mycat全局序列类型，0为本地文件，1为数据库方式，2为时间戳列方式，默认使用本地文件方式，文件方式主要用于测试
    <property name="sequnceHandlerType">0/property> -->

    <!-- TCP 参数配置，mycat在每次建立前后端连接时候，都会使用这些参数初始化TCP属性，详细可以查看Java API 文档：http://docs.oracle.com/javase/7/docs/api/net/StandardSocketOptions.html
    <property name="frontSocketSoRcvbuf">1024*1024/property>
    <property name="frontSocketSoSndbuf">4*1024*1024/property>
    <property name="frontSocketNoDelay">1/property>
    <property name="backSocketSoRcvbuf">4*1024*1024/property>
    <property name="backSocketSoSndbuf">1024*1024/property>
    <property name="backSocketNoDelay">1/property> -->  

    <!-- mysql 连接相关配置 -->
    <!-- <property name="packetHeaderSize">4</property>  指定mysql协议中的报文头长度，默认4个字节-->
    <!-- <property name="maxPacketSize">1024*1024*16</property> 配置可以携带的数据量最大值，默认16M-->
    <!-- <property name="idleTimeout">1024*1024*16</property> 指定连接的空闲时间超时长度，如果某个连接空闲时间超过该值，则将连接关闭并回收，单位为毫秒，默认值为30分钟-->
    <!-- <property name="txIsolation">3</property> 初始化前端连接事务的隔离级别有：
        READ_UNCOMMITTED=1
        READ_COMMITTED=2
        REPEATED_READ=3
        SERIALIZABLE=4 
      默认为3-->
    <!-- <property name="sqlExecuteTimeout">3</property>执行sql超时时间，默认为300秒-->


    <!-- 心跳属性配置 -->
    <!-- <property name="processorCheckPeriod">1000</property>清理前后端空闲、超时、关闭连接的时间间隔，单位为毫秒，默认为1秒-->
    <!-- <property name="dataNodeIdleCheckPeriod">300*1000</property>对后端连接进行空闲，超时检查的时间间隔，单位为毫秒，默认为300秒-->
    <!-- <property name="dataNodeHeartbeatPeriod">10*1000</property>对后端所有读写库发起心跳的间隔时间，单位为毫秒，默认为10秒-->

    <!-- 服务相关属性 -->
    <!-- <property name="bindIp">0.0.0.0</property>mycat服务监听的ip地址，默认为0.0.0.0-->
    <!-- <property name="serverPort">8066</property>定义mycat使用的端口，默认值为8066-->
    <!-- <property name="managerPort">9066</property>定义mycat管理的端口，默认值为9066-->

    <!-- 分布式事务开关属性 -->
    <!-- <property name="handleDistributedTransactions">0</property>0为不过滤分布式事务，1过滤分布式事务，2不过滤分布式事务，但是记录分布式事务日志。主要用户是否允许跨库事务。mycat 1.6版本开始，支持此属性-->


    <!-- <property name="useOffHeapForMerge">1</property>配置是否启用非堆内存跨分片结果集，1为开启，0为关闭，mycat1.6开始支持该属性-->

    <!-- 全局表一致性检测 -->
    <property name="useGlobleTableCheck">0</property>  <!--通过添加_MYCAT_OP_TIME字段来进行一致性检测，为BIGINT类型 1为开启全加班一致性检测、0为关闭 -->

    <property name="useSqlStat">0</property>  <!-- 1为开启实时统计、0为关闭 -->


      <!--  <property name="useCompression">1</property>--> <!--1为开启mysql压缩协议-->
      <!--  <property name="fakeMySQLVersion">5.6.20</property>--> <!--设置模拟的MySQL版本号-->

    <!-- 
    <property name="processors">1</property> 
    <property name="processorExecutor">32</property> 
     -->
        <!--默认为type 0: DirectByteBufferPool | type 1 ByteBufferArena-->
        <property name="processorBufferPoolType">0</property>
        <!--默认是65535 64K 用于sql解析时最大文本长度 -->
        <!--<property name="maxStringLiteralLength">65535</property>-->
        <!--<property name="processorExecutor">16</property>-->
        <!--
            <property name="serverPort">8066</property> <property name="managerPort">9066</property> 
            <property name="idleTimeout">300000</property> <property name="bindIp">0.0.0.0</property> 
            <property name="frontWriteQueueSize">4096</property> <property name="processors">32</property> -->
        <!--分布式事务开关，0为不过滤分布式事务，1为过滤分布式事务（如果分布式事务内只涉及全局表，则不过滤），2为不过滤分布式事务,但是记录分布式事务日志-->
        <property name="handleDistributedTransactions">0</property>

        <!--单位为m-->
        <property name="memoryPageSize">1m</property>

        <!--单位为k-->
        <property name="spillsFileBufferSize">1k</property>

        <property name="useStreamOutput">0</property>

        <!--单位为m-->
        <property name="systemReserveMemorySize">384m</property>

        <!--是否采用zookeeper协调切换  -->
        <property name="useZKSwitch">true</property>

    </system>

    <!-- 全局SQL防火墙设置 -->
    <!-- 
    <firewall> 
       <whitehost>
          <host host="127.0.0.1" user="mycat"/>
          <host host="127.0.0.2" user="mycat"/>
       </whitehost>
       <blacklist check="false">
       </blacklist>
    </firewall>
    -->
    <!-- 定义登录mycat对的用户权限 -->
    <user name="root">
        <property name="password">123456</property>
        <!-- 若要访问TESTDB 必须现在server.xml 中定义，否则无法访问TESTDB-->
        <property name="schemas">TESTDB</property>
        <!-- 配置是否允许只读 -->
        <property name="readOnly">true</property>
        <!-- 定义限制前端整体的连接数，如果其值为0，或者不设置，则表示不限制连接数量 -->
        <property name="benchmark">11111</property>
        <!-- 设置是否开启密码加密功能，默认为0不开启加密，为1则表示开启加密 -->
        <property name="usingDecrypt">1</property>
        <!-- 表级 DML 权限设置 -->
        <!--        
        <privileges check="false">
            <schema name="TESTDB" dml="0110" >
                <table name="tb01" dml="0000"></table>
                <table name="tb02" dml="1111"></table>
            </schema>
        </privileges>       
         -->
    </user>
</mycat:server>

4.配置文件schema.xml

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://org.opencloudb/">

    <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">
        <table name="user" dataNode="dn1,dn2" rule="auto-sharding-long" />
        <table name="stat_tcp_stream" dataNode="dn2,dn3" rule="auto-sharding-long" />
    </schema>
    <dataNode name="dn1" dataHost="localhost1" database="mpos_tshark_miner_2014" />
    <dataNode name="dn2" dataHost="localhost2" database="mpos_tshark_miner2014" />
    <dataNode name="dn3" dataHost="localhost3" database="mpos_tshark_hrtel" />

    <dataHost name="localhost1" maxCon="1000" minCon="10" balance="0" dbType="mysql" dbDriver="jdbc" writeType="0" switchType="1"  slaveThreshold="100">
        <heartbeat>select user()</heartbeat>
        <writeHost host="hostM1" url="jdbc:mysql://192.168.1.150:5029" user="root" password="root"></writeHost>
    </dataHost>
    <dataHost name="localhost2" maxCon="1000" minCon="1" balance="0" dbType="mysql" dbDriver="jdbc"> 
        <heartbeat>         </heartbeat>
         <writeHost host="hostM2" url="jdbc:mysql://192.168.1.150:5029" user="root"     password="root"></writeHost> 
     </dataHost>        
    <dataHost name="localhost3" maxCon="1000" minCon="1" balance="0" dbType="mysql" dbDriver="jdbc"> 
        <heartbeat>         </heartbeat>
         <writeHost host="hostM3" url="jdbc:mysql://192.168.1.150:5029" user="root"     password="root"></writeHost> 
     </dataHost>         
            <!--        
      <dataHost name="oracle1" maxCon="1000" minCon="1" balance="0" writeType="0"   dbType="oracle" dbDriver="jdbc"> <heartbeat>select 1 from dual</heartbeat> 
        <connectionInitSql>alter session set nls_date_format='yyyy-mm-dd hh24:mi:ss'</connectionInitSql> 
        <writeHost host="hostM1" url="jdbc:oracle:thin:@127.0.0.1:1521:nange" user="base"   password="123456" > </writeHost> </dataHost> 

        <dataHost name="jdbchost" maxCon="1000"     minCon="1" balance="0" writeType="0" dbType="mongodb" dbDriver="jdbc"> 
        <heartbeat>select   user()</heartbeat> 
        <writeHost host="hostM" url="mongodb://192.168.0.99/test" user="admin" password="123456" ></writeHost> </dataHost> 

        <dataHost name="sparksql" maxCon="1000" minCon="1" balance="0" dbType="spark" dbDriver="jdbc"> 
        <heartbeat> </heartbeat>
         <writeHost host="hostM1" url="jdbc:hive2://feng01:10000" user="jifeng"     password="jifeng"></writeHost> </dataHost> -->

    <!-- <dataHost name="jdbchost" maxCon="1000" minCon="10" balance="0" dbType="mysql" 
        dbDriver="jdbc"> <heartbeat>select user()</heartbeat> <writeHost host="hostM1" 
        url="jdbc:mysql://localhost:3306" user="root" password="123456"> </writeHost> 
        </dataHost> -->
</mycat:schema>