Mycat的实践一：初始Mycat

Mycat

Mycat简介

1. 一个完全开源的，面向企业应用开发的大数据库集群
2. 支持事务、ACID、能够替代MySQL的增强版数据库
3. 一个能够视为MySQL集群的企业级数据库，用来替代昂贵的Oracle集群
4. 一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQL Server
5. 结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品
6. 一个新颖的数据库中间件产品

目前最新版本

1.6

长期规划2.0

1. 彻底实现分布式事务，彻底的支持分布式。
2. 经过Mycat web（eye）完成可视化配置，及智能监控，自动运维。
3. 经过mysql 本地节点，完整的解决数据扩容难度，实现自动扩容机制，解决扩容难点。
4. 支持基于zookeeper的主从切换及Mycat集群化管理。
5. 经过Mycat Balance 替代第三方的Haproxy，LVS等第三方高可用，完整的兼容Mycat集群节点的动态上下线。
6. 接入Spark等第三方工具，解决数据分析及大数据聚合的业务场景。
7. 经过Mycat智能优化，分析分片热点，提供合理的分片建议，索引建议，及数据切分实时业务建议。

总结

Mycat 是一个数据库的中间件，支持各类常规的MySQL、Oracle、DB二、SQL Server、PostgreSQL的支持，支持分库分表等分布式下的业务架构，让前端开发能够几乎透明.

简单初始部署

本案例咱们将会初始一个同主机下三个分库(mycat-db1,mycat-db2,mycat-db3)经过mycat中间件，前端链接mycat操做

准备

# win下部署、正式环境建议linux部署

1. JDK
2. Mysql
3. mycat1.6 win 源码

JDK安装

# wget http://download.oracle.com/otn-pub/java/jdk/8u181-b13/96a7b8442fe848ef90c96a2fad6ed6d1/jdk-8u181-windows-x64.exe
一路next安装

#配置 JDK 环境
JAVA_HOME：C:\Program Files\Java\jdk1.8.0_162
CLASSPATH：.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;
PATH：;%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;

# DEBUG
java -version

mysql

这部分安装就不说了
我这边安装的是mysql5.6版本

初始化三个分库

# 此操做在当前机的mysql上操做（再也不mycat）
# mysql -uroot -p
CREATE DATABASE IF NOT EXISTS mycat-db1 DEFAULT CHARSET utf8mb4 COLLATE utf8mb4_general_ci;
CREATE DATABASE IF NOT EXISTS mycat-db2 DEFAULT CHARSET utf8mb4 COLLATE utf8mb4_general_ci;
CREATE DATABASE IF NOT EXISTS mycat-db3 DEFAULT CHARSET utf8mb4 COLLATE utf8mb4_general_ci;

# 三个分库各自建立表travelrecord
CREATE TABLE `travelrecord` (
  `id` int(10) unsigned NOT NULL AUTO_INCREMENT,
  `name` varchar(22) NOT NULL DEFAULT '',
  `time` int(10) unsigned NOT NULL DEFAULT '0',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4;

# 模拟数据
INSERT INTO `mycat-db1`.`travelrecord` (`name`, `time`) VALUES ('qkl', '0');
INSERT INTO `mycat-db1`.`travelrecord` (`name`, `time`) VALUES ('andy', '0');
INSERT INTO `mycat-db2`.`travelrecord` (`name`, `time`) VALUES ('zgq', '0');
INSERT INTO `mycat-db3`.`travelrecord` (`name`, `time`) VALUES ('pcb', '0');

mycat conf/server.xml配置

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mycat:server SYSTEM "server.dtd">
<mycat:server xmlns:mycat="http://io.mycat/">
    <system>
    <property name="useSqlStat">0</property>  <!-- 1为开启实时统计、0为关闭 -->
    <property name="useGlobleTableCheck">0</property>  <!-- 1为开启全加班一致性检测、0为关闭 -->

        <property name="sequnceHandlerType">2</property>
      <!--  <property name="useCompression">1</property>--> <!--1为开启mysql压缩协议-->
        <!--  <property name="fakeMySQLVersion">5.6.20</property>--> <!--设置模拟的MySQL版本号-->
    <!-- <property name="processorBufferChunk">40960</property> -->
    <!-- 
    <property name="processors">1</property> 
    <property name="processorExecutor">32</property> 
     -->
        <!--默认为type 0: DirectByteBufferPool | type 1 ByteBufferArena-->
        <property name="processorBufferPoolType">0</property>
        <!--默认是65535 64K 用于sql解析时最大文本长度 -->
        <!--<property name="maxStringLiteralLength">65535</property>-->
        <!--<property name="sequnceHandlerType">0</property>-->
        <!--<property name="backSocketNoDelay">1</property>-->
        <!--<property name="frontSocketNoDelay">1</property>-->
        <!--<property name="processorExecutor">16</property>-->
        <!--
            <property name="serverPort">8066</property> <property name="managerPort">9066</property> 
            <property name="idleTimeout">300000</property> <property name="bindIp">0.0.0.0</property> 
            <property name="frontWriteQueueSize">4096</property> <property name="processors">32</property> -->
        <!--分布式事务开关，0为不过滤分布式事务，1为过滤分布式事务（若是分布式事务内只涉及全局表，则不过滤），2为不过滤分布式事务,可是记录分布式事务日志-->
        <property name="handleDistributedTransactions">0</property>
        
            <!--
            off heap for merge/order/group/limit      1开启   0关闭
        -->
        <property name="useOffHeapForMerge">1</property>

        <!--
            单位为m
        -->
        <property name="memoryPageSize">1m</property>

        <!--
            单位为k
        -->
        <property name="spillsFileBufferSize">1k</property>

        <property name="useStreamOutput">0</property>

        <!--
            单位为m
        -->
        <property name="systemReserveMemorySize">384m</property>


        <!--是否采用zookeeper协调切换  -->
        <property name="useZKSwitch">true</property>


    </system>

    <!-- 这部分是咱们经过客户端链接须要设置的账号密码 -->
    <user name="root">
        <property name="password">123456</property>
        <property name="schemas">TESTDB</property>
        
        <!-- 表级 DML 权限设置 -->
        <!--         
        <privileges check="false">
            <schema name="TESTDB" dml="0110" >
                <table name="tb01" dml="0000"></table>
                <table name="tb02" dml="1111"></table>
            </schema>
        </privileges>        
         -->
    </user>

    <user name="user">
        <property name="password">user</property>
        <property name="schemas">TESTDB</property>
        <property name="readOnly">true</property>
    </user>

</mycat:server>

mycat conf/schema.xml配置

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">

    <dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"
              writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
        <heartbeat>select user()</heartbeat>
        <!-- 真实对应的读写的数据库 -->
        <writeHost host="hostM1" url="localhost:3306" user="root"
                   password="root">
        </writeHost>
    </dataHost>

    <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">
        <table name="travelrecord" dataNode="dn1,dn2,dn3" rule="auto-sharding-long" />
    </schema>

    <dataNode name="dn1" dataHost="localhost1" database="mycat-db1" />
    <dataNode name="dn2" dataHost="localhost1" database="mycat-db2" />
    <dataNode name="dn3" dataHost="localhost1" database="mycat-db3" />
</mycat:schema>

启动

bin/startup_nowrap.bat

# 启动成功最后显示
# MyCAT Server startup successfully. see logs in logs/mycat.log

客户端测试

客户端链接管理

我这边是经过navicat链接
# mysql -uroot -p123456 -p 9066
链接账号密码：root/123456 -> server.xml配置可得

show @@help;
show @@sysparam;

客户端链接

我这边是经过navicat链接
# mysql -uroot -p123456 -p 8066
链接账号密码：root/123456 -> server.xml配置可得

操做

use TESTDB;

# select
select * from travelrecord;

# output:
+----+------+------+
| id | name | time |
+----+------+------+
|  1 | qkl  |    0 |
|  2 | andy |    0 |
|  1 | pcb  |    0 |
|  1 | zgq  |    0 |
+----+------+------+
4 rows in set

# update
update travelrecord set name='andy2' where id = 2;

# insert
insert into travelrecord(name, time) values('tony', 0);
# 出错
#[Err] 1064 - bad insert sql (sharding column:ID not provided,INSERT INTO travelrecord (name, time)
VALUES ('test', 0)

总结

咱们利用mycat作了一个单点mysql的多分库下支持简单查询的实践，能够正常查询不过在咱们进行插入的时间遇到了问题

下一节咱们将利用Mycat的全局序列号解决利用mycat的插入问题

继续阅读：Mycat的实践二：全局序列号