教程 | MySql都会了，肯定不学习一下MyCat分片？

时间  2020-12-04
标签 node mysql linux web 算法 sql 数据库 后端 缓存 微信 栏目 MySQL 繁體版
原文   原文链接


这是小小本周的第二篇，我是小小，本周将会介绍MyCat以及MyCat分片。node

MyCat 介绍

什么是MyCat

官方网站：：http://www.mycat.org.cn/ http://www.mycat.io/ db proxy Mycatmysql

MyCat 架构

MyCat 核心概念

Schema

Schema：由它指定逻辑数据库（至关于MySQL的database数据库）linux

Table

Table：逻辑表（至关于MySQL的table表）web

DataNode

DataNode：真正存储数据的物理节点算法

DataHost

DataHost：存储节点所在的数据库主机（指定MySQL数据库的链接信息）sql

User

User：MyCat的用户（相似于MySQL的用户，支持多用户）数据库

MyCat 主要解决问题

  1. 海量数据保存 2。查询优化

MyCat 对多数据库的支持

MyCat 分片策略

MyCAT支持水平分片与垂直分片：水平分片：一个表格的数据分割到多个节点上，按照行分隔。垂直分片：一个数据库中多个表格A，B，C，A存储到节点1上，B存储到节点2上，C存储到节点3 上。MyCAT经过定义表的分片规则来实现分片，每一个表格能够捆绑一个分片规则，每一个分片规则指定一个分 片字段并绑定一个函数，来实现动态分片算法。后端

Schema

Schema：逻辑库，与MySQL中的Database（数据库）对应，一个逻辑库中定义了所包括的Table。缓存

Table

Table：表，即物理数据库中存储的某一张表，与传统数据库不一样，这里的表格须要声明其所存储的 逻辑数据节点DataNode。在此能够指定表的分片规则。微信

DataNode

DataNode：MyCAT的逻辑数据节点，是存放table的具体物理节点，也称之为分片节点，经过 DataHost来关联到后端某个具体数据库上

DataHost

DataHost：定义某个物理库的访问地址，用于捆绑到Datanode上

MyCat 安装

下载MyCat

wget http://dl.mycat.io/1.6-RELEASE/Mycat-server-1.6-RELEASE-20161028204710-
linux.tar.gz

解压缩

tar -zxvf Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz

进入mycat/bin，启动MyCat

- 启动命令：./mycat start
- 中止命令：./mycat stop
- 重启命令：./mycat restart
- 查看状态：./mycat status

访问MyCat

使用mysql的客户端直接链接mycat服务。默认服务端口为【8066】
mysql -uroot -p123456 -h127.0.0.1 -P8066

MyCat 分片

配置schema.xml

什么是schema.xml

schema.xml做为Mycat中重要的配置文件之一，管理着Mycat的逻辑库、表、分片规则、DataNode 以及DataHost之间的映射关系。弄懂这些配置，是正确使用Mycat的前提。schema 标签用于定义MyCat实例中的逻辑库 Table 标签订义了MyCat中的逻辑表 dataNode 标签订义了MyCat中的数据节点，也就是咱们一般说所的数据分片。dataHost标签在mycat逻辑库中也是做为最底层的标签存在，直接定义了具体的数据库实例、读 写分离配置和心跳语句。

Schema.xml 配置

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
    <!--
    schema : 逻辑库 name:逻辑库名称
    sqlMaxLimit：一次取多少条数据 要超过用limit xxx
    table:逻辑表
    dataNode:数据节点 对应datanode标签
    rule：分片规则，对应rule.xml
    subTables:子表
    primaryKey：分片主键 可缓存
    -->
    <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">
        <!-- auto sharding by id (long) -->
        配置Server.xml
        server.xml介绍
        server.xml几乎保存了全部mycat须要的系统配置信息。最经常使用的是在此配置用户名、密码及权限。
        server.xml配置
        配置rule.xml
        rule.xml里面就定义了咱们对表进行拆分所涉及到的规则定义。咱们能够灵活的对表使用不一样的分片算
        法，或者对表使用相同的算法但具体的参数不一样。这个文件里面主要有tableRule和function这两个标
        签。在具体使用过程当中能够按照需求添加tableRule和function。
        此配置文件能够不用修改，使用默认便可。
        <table name="item" dataNode="dn1,dn2,dn3" rule="mod-long"
               primaryKey="ID"/>
    </schema>
    <!-- <dataNode name="dn1$0-743" dataHost="localhost1" database="db$0-743"
    /> -->
    <dataNode name="dn1" dataHost="localhost1" database="db1" />
    <dataNode name="dn2" dataHost="localhost1" database="db2" />
    <dataNode name="dn3" dataHost="localhost1" database="db3" />
    <!--
    dataHost : 数据主机（节点主机）
    balance：1 ：读写分离 0 ：读写不分离
    writeType：0 第一个writeHost写， 1 随机writeHost写
    dbDriver：数据库驱动 native：MySQL JDBC：Oracle、SQLServer
    switchType：是否主动读
    一、主从自动切换 -1 不切换 2 当从机延时超过slaveThreshold值时切换为主读
    -->
    <dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"
              writeType="0" dbType="mysql" dbDriver="native" switchType="1"
              slaveThreshold="100">
        <heartbeat>select user()</heartbeat>
        <writeHost host="hostM1" url="192.168.24.129:3306" user="root"
                   password="root" >
        </writeHost>
    </dataHost>
</mycat:schema>

配置server.xml

server.xml 介绍

server.xml几乎保存了全部mycat须要的系统配置信息。最经常使用的是在此配置用户名、密码及权限。

server.xml 配置

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mycat:server SYSTEM "server.dtd">
<mycat:server xmlns:mycat="http://io.mycat/">
    <system>
        <property name="defaultSqlParser">druidparser</property>
    </system>
    <user name="mycat">
        <property name="password">mycat</property>
        <property name="schemas">TESTDB</property>
    </user>
</mycat:server>

配置rule.xml

rule.xml里面就定义了咱们对表进行拆分所涉及到的规则定义。咱们能够灵活的对表使用不一样的分片算 法，或者对表使用相同的算法但具体的参数不一样。这个文件里面主要有tableRule和function这两个标 签。在具体使用过程当中能够按照需求添加tableRule和function。此配置文件能够不用修改，使用默认便可

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mycat:rule SYSTEM "rule.dtd">
<mycat:rule xmlns:mycat=”http://io.mycat/“ >
<tableRule name="sharding-by-intfile">
<rule>
    <columns>sharding_id</columns>
    <algorithm>hash-int</algorithm>
</rule>
</tableRule>
<function name="hash-int"
          class="io.mycat.route.function.PartitionByFileMap">
<property name="mapFile">partition-hash-int.txt</property>
</function>
        </mycat:rule>

tableRule 标签配置说明：

name 属性指定惟一的名字，用于标识不一样的表规则 rule 标签则指定对物理表中的哪一列进行拆分和使用什么路由算法。columns 内指定要拆分的列名字。algorithm 使用 function 标签中的 name 属性。链接表规则和具体路由算法。固然，多个表规则 能够链接到同一个路由算法上。table 标签内使用。让逻辑表使用这个规则进行分片。

function 标签配置说明：

name 指定算法的名字。class 制定路由算法具体的类名字。property 为具体算法须要用到的一些属性。

几个经常使用的分片规则

连续分片

日期列分区法

<!--按固定时间分片-->
<tableRule name="sharding-by-date">
    <rule>
        <columns>create_time</columns>
        <algorithm>sharding-by-date</algorithm>
    </rule>
</tableRule>
<function name="sharding-by-date"
          class="io.mycat.route.function..PartitionByDate">
<property name="dateFormat">yyyy-MM-dd</property>
<property name="sBeginDate">2014-01-01</property>
<property name="sPartionDay">10</property>
</function>
        <!--按天然月分片-->
<tableRule name="sharding-by-month">
<rule>
    配置说明：
    tableRule标签：
    columns ：标识将要分片的表字段
    algorithm ：指定分片函数
    function标签：
    dateFormat ：日期格式
    sBeginDate ：开始日期
    sPartionDay ：分区天数，即默认从开始日期算起，分隔10天一个分区
    2、范围约定
    配置说明：
    tableRule标签：
    <columns>create_time</columns>
    <algorithm>sharding-by-month</algorithm>
</rule>
</tableRule>
<function name="sharding-by-month"
          class="io.mycat.route.function..PartitionByMonth">
<property name="dateFormat">yyyy-MM-dd</property>
<property name="sBeginDate">2014-01-01</property>
</function>
        <!--
        按单月小时分片
        适合作日志，每个月末，手工清理
        -->
<tableRule name="sharding-by-hour">
<rule>
    <columns>create_time</columns>
    <algorithm>sharding-by-hour</algorithm>
</rule>
</tableRule>
<function name="sharding-by-hour"
          class="io.mycat.route.function..LastestMonthPartition">
<property name="splitOneDay">24</property>
</function>

配置说明 tableRule标签：columns ：标识将要分片的表字段 algorithm ：指定分片函数 function标签：dateFormat ：日期格式 sBeginDate ：开始日期 sPartionDay ：分区天数，即默认从开始日期算起，分隔10天一个分区

范围约定

<tableRule name="auto-sharding-long">
<rule>
<columns>user_id</columns>
<algorithm>rang-long</algorithm>
</rule>
</tableRule>
<function name="rang-long"
class="io.mycat.route.function.AutoPartitionByLong">
<property name="mapFile">autopartition-long.txt</property>
</function>

配置说明 tableRule标签：columns ：标识将要分片的表字段 algorithm ：指定分片函数 function标签：mapFile ：指定分片函数须要的配置文件名称

autopartition-long.txt文件内容：全部的节点配置都是从0开始，及0表明节点1，此配置很是简单，即预先制定可能的id范围对应某个分 片

# range start-end ,data node index
# K=1000,M=10000.
0-500M=0 0-100 0
500M-1000M=1 101-200 1
201-300 2
1000M-1500M=2
default=0
# 或如下写法
# 0-10000000=0
# 10000001-20000000=1

优点：扩容无需迁移数据 缺点：热点数据，并发受限

离散分片

枚举法

<tableRule name="sharding-by-intfile">
    <rule>
        <columns>user_id</columns>
        <algorithm>hash-int</algorithm>
    </rule>
</tableRule>
<function name="hash-int"
          class="io.mycat.route.function.PartitionByFileMap">
<property name="mapFile">partition-hash-int.txt</property>
<property name="type">0</property>
<property name="defaultNode">0</property>
</function>

配置说明 tableRule标签：columns ：标识将要分片的表字段 algorithm ：指定分片函数 function标签：mapFile ：指定分片函数须要的配置文件名称 type ：默认值为0，0表示Integer，非零表示String defaultNode ：指定默认节点，小于0表示不设置默认节点，大于等于0表示设置默认节点，0表明节 点1。

默认节点的做用：枚举分片时，若是碰到不识别的枚举值，就让它路由到默认节点。若是不配置默认节点（defaultNode值小于0表示不配置默认节点），碰到不识别的枚举值 就会报错：

partition-hash-int.txt 配置：

10000=0 列等于10000 放第一个分片
10010=1
男=0
女=1
beijing=0
tianjin=1
zhanghai=2

求模法

<tableRule name="mod-long">
<rule>
<columns>user_id</columns>
<algorithm>mod-long</algorithm>
</rule>
</tableRule>
<function name="mod-long"
class="io.mycat.route.function.PartitionByMod">
<!-- how many data nodes -->
<property name="count">3</property>
</function>

tableRule标签：columns ：标识将要分片的表字段 algorithm ：指定分片函数 function标签：count ：节点数量

一致性hash

<tableRule name="sharding-by-murmur">
    <rule>
        <columns>user_id</columns>
        <algorithm>murmur</algorithm>
    </rule>
</tableRule>
<function name="murmur"
          class="io.mycat.route.function.PartitionByMurmurHash">
<!-- 默认是0 -->
<property name="seed">0</property>
<!-- 要分片的数据库节点数量，必须指定，不然无法分片 -->
<property name="count">2</property>
<!-- 一个实际的数据库节点被映射为这么多虚拟节点，默认是160倍，也就是虚拟节点数是物理节点数
的160倍 -->
<property name="virtualBucketTimes">160</property>
<!-- <property name="weightMapFile">weightMapFile</property> 节点的权重，没有指
定权重的节点默认是1。以properties文件的格式填写，以从0开始到count-1的整数值也就是节点索引为
key，以节点权重值为值。全部权重值必须是正整数，不然以1代替 -->
<!-- <property name="bucketMapPath">/etc/mycat/bucketMapPath</property>
用于测试时观察各物理节点与虚拟节点的分布状况，若是指定了这个属性，会把虚拟节点的murmur
hash值与物理节点的映射按行输出到这个文件，没有默认值，若是不指定，就不会输出任何东西 -->
</function>

等，还有一些其余分片，这里，暂时不说明

测试分片

把商品表分片存储到三个数据节点上。

建立表

配置完毕后，从新启动mycat。使用mysql客户端链接mycat，建立表。

CREATE TABLE item (
id int(11) NOT NULL,
name varchar(20) DEFAULT NULL,
PRIMARY KEY (id)
) ENGINE=InnoDB DEFAULT CHARSET=utf8

分片测试

分片策略指定为“auto-sharding-long” 分片规则指定为“mod-long”

关于做者

我是小小，来自双鱼座的，外太空的一枚小孩纸，目前漂泊在一线城市，成为一枚正经的北漂人，我是小小，本期MyCat分片结束，咱们下期再见。

小明菜市场

推荐阅读


● 教程 | Hadoop集群搭建和简单应用

● 文末送书 | WAF 那些事

● 为何系列之不能重写service方法

● 细说 | "失效"的private修饰符

● 知道 | 同窗，你都了解关系型数据库，肯定不了解一下这种数据库吗？


给我个好看再走好吗？



本文分享自微信公众号 - 小明菜市场（fileGeek）。
若有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一块儿分享。

相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程