手把手带你用数据库中间件Mycat＋SpringBoot完成分库分表

1、背景 随着时间和业务的发展，数据库中的数据量增加是不可控的，库和表中的数据会愈来愈大，随之带来的是更高的磁盘、IO、系统开销，甚至性能上的瓶颈，而一台服务的资源终究是有限的，所以须要对数据库和表进行拆分，从而更好的提供数据服务。

当用户表达到千万级别，在作不少操做的时候都会很吃力，因此当数据增加到1000万以上就须要分库分表来缓解单库（表）的压力。

2、什么是分库分表[1] 简单来讲，就是指经过某种特定的条件，将咱们存放在同一个数据库中的数据分散存放到多个数据库（主机）上面，以达到分散单台设备负载的效果。

数据的切分（Sharding）根据其切分规则的类型，能够分为两种切分模式。一种是按照不一样的表（或者Schema）来切分到不一样的数据库（主机）之上，这种切能够称之为数据的垂直（纵向）切分；另一种则是根据表中的数据的逻辑关系，将同一个表中的数据按照某种条件拆分到多台数据库（主机）上面，这种切分称之为数据的水平（横向）切分。

垂直切分的最大特色就是规则简单，实施也更为方便，尤为适合各业务之间的耦合度很是低，相互影响很小，业务逻辑很是清晰的系统。在这种系统中，能够很容易作到将不一样业务模块所使用的表分拆到不一样的数据库中。根据不一样的表来进行拆分，对应用程序的影响也更小，拆分规则也会比较简单清晰。

水平切分于垂直切分相比，相对来讲稍微复杂一些。由于要将同一个表中的不一样数据拆分到不一样的数据库中，对于应用程序来讲，拆分规则自己就较根据表名来拆分更为复杂，后期的数据维护也会更为复杂一些。

3、垂直切分 [1]

个数据库由不少表的构成，每一个表对应着不一样的业务，垂直切分是指按照业务将表进行分类，分布到不一样

的数据库上面，这样也就将数据或者说压力分担到不一样的库上面，以下图：

系统被切分红了，用户，订单交易，支付几个模块。

一个架构设计较好的应用系统，其整体功能确定是由不少个功能模块所组成的，而每个功能模块所须要的数据对应到数据库中就是一个或者多个表。而在架构设计中，各个功能模块相互之间的交互点越统一越少，系统的耦合度就越低，系统各个模块的维护性以及扩展性也就越好。这样的系统，实现数据的垂直切分也就越容易。

可是每每系统之有些表难以作到彻底的独立，存在这扩库 join 的状况，对于这类的表，就须要去作平衡，是数据库让步业务，共用一个数据源，仍是分红多个库，业务之间经过接口来作调用。在系统初期，数据量比较少，或者资源有限的状况下，会选择共用数据源，可是当数据发展到了必定的规模，负载很大的状况，就需

要必须去作分割。

通常来说业务存在着复杂 join 的场景是难以切分的，每每业务独立的易于切分。如何切分，切分到何种

程度是考验技术架构的一个难题。

下面来分析下垂直切分的优缺点：

优势：

拆分后业务清晰，拆分规则明确；

系统之间整合或扩展容易；

数据维护简单。

缺点：

部分业务表没法 join，只能经过接口方式解决，提升了系统复杂度；

受每种业务不一样的限制存在单库性能瓶颈，不易数据扩展跟性能提升；

事务处理复杂。

因为垂直切分是按照业务的分类将表分散到不一样的库，因此有些业务表会过于庞大，存在单库读写与存储瓶颈，因此就须要水平拆分来作解决。

4、水平切分 [1]

相对于垂直拆分，水平拆分不是将表作分类，而是按照某个字段的某种规则来分散到多个库之中，每一个表中包含一部分数据。简单来讲，咱们能够将数据的水平切分理解为是按照数据行的切分，就是将表中的某些行切分到一个数据库，而另外的某些行又切分到其余的数据库中，如图

拆分数据就须要定义分片规则。关系型数据库是行列的二维模型，拆分的第一原则是找到拆分维度。好比：

从会员的角度来分析，商户订单交易类系统中查询会员某天某月某个订单，那么就须要按照会员结合日期来拆分，不一样的数据按照会员 ID 作分组，这样全部的数据查询 join 都会在单库内解决；若是从商户的角度来说，要查询某个商家某天全部的订单数，就须要按照商户 ID 作拆分；可是若是系统既想按会员拆分，又想按商家数据，则会有必定的困难。如何找到合适的分片规则须要综合考虑衡。

几种典型的分片规则包括：

按照用户 ID 求模，将数据分散到不一样的数据库，具备相同数据用户的数据都被分散到一个库中；

按照日期，将不一样月甚至日的数据分散到不一样的库中；

按照某个特定的字段求摸，或者根据特定范围段分散到不一样的库中。

如图，切分原则都是根据业务找到适合的切分规则分散到不一样的库，下面用用户 ID 求模举

既然数据作了拆分有优势也就优缺点。

优势：

拆分规则抽象好，join 操做基本能够数据库作；

不存在单库大数据，高并发的性能瓶颈；

应用端改造较少；

提升了系统的稳定性跟负载能力。

缺点：

拆分规则难以抽象；

分片事务一致性难以解决；

数据屡次扩展难度跟维护量极大；

跨库 join 性能较差

5、什么是Mycat

它是一个开源的分布式数据库系统，是一个实现了 MySQL 协议的的

Server，前端用户能够把它看做是一个数据库代理，用 MySQL 客户端工具和命令行访问，而其后端能够用MySQL 原生（Native）协议与多个 MySQL 服务器通讯，也能够用 JDBC 协议与大多数主流数据库服务器通讯，其核心功能是分表分库，即将一个大表水平分割为 N 个小表，存储在后端 MySQL 服务器里或者其余数据库里。

常见应用场景:

单纯的读写分离，此时配置最为简单，支持读写分离，主从切换；

分表分库，对于超过 1000 万的表进行分片，最大支持 1000 亿的单表分片；

多租户应用，每一个应用一个库，但应用程序只链接 Mycat，从而不改造程序自己，实现多租户化；

报表系统，借助于 Mycat 的分表能力，处理大规模报表的统计； 替代 Hbase，分析大数据；

做为海量数据实时查询的一种简单有效方案，好比 100 亿条频繁查询的记录须要在 3 秒内查询出来结果，除了基于主键的查询，还可能存在范围查询或其余属性查询，此时 Mycat 多是最简单有效的选

6、SpringBoot+Mycat+MySQL实现分表分库案例

关于分库分表，Mycat已经帮咱们在内部实现了路由的功能，咱们只须要在Mycat中配置如下切分规则便可，对于开发者来讲，咱们就能够把Mycat看作是一个数据库，接下来咱们开始搭建环境:

步骤一:

Mycat是使用java写的数据库中间件，因此要运行Mycat前要准备要jdk的环境，要求是jdk1.7以上的环境。因此须要在系统中配置JAVA_HOME的环境变量.

步骤二:

从官网下载Mycat，dl.mycat.io/1.6-RELEASE…

Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz

步骤三:

将下载好的安装包上传到服务器上并解压.解压以后目录结构以下：

< ?xml version="1.0"?>

< !DOCTYPE mycat:schema SYSTEM "schema.dtd">

< mycat:schema xmlns:mycat="io.mycat/">

< schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">

< table name="user" primaryKey="id" dataNode="dn01,dn02" rule="rule1" />

< /schema>

< !-- 设置dataNode 对应的数据库,及 mycat 链接的地址dataHost -->

< dataNode name="dn01" dataHost="dh01" database="db01" />

< dataNode name="dn02" dataHost="dh01" database="db02" />

< !-- mycat 逻辑主机dataHost对应的物理主机.其中也设置对应的mysql登录信息 -->

< dataHost name="dh01" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native">

< h eartbeat>select user()< /heartbeat >

<!- - 以为文章对你有帮助的话，能够加一下个人企鹅技术交流圈：519752913，我会在里面不定时分享干货资源，但愿可以对你有帮助 -->

< writeHost host="server1" url="127.0.0.1:3306" user="root" password="WolfCode_2017"/>

< /dataHost>

</ mycat:schema>

< s chema>:表示的是在mycat中的逻辑库配置，逻辑库名称为:TESTDB

< table>:表示在mycat中的逻辑表配置，逻辑表名称为:user,映射到两个数据库节点dataNode中,切分规则为:rule1(在rule.xml配置)

< dataNode>:表示数据库节点,这个节点不必定是单节点，能够配置成读写分离.

< dataHost>:真实的数据库的地址配置

< heartbeat>:用户心跳检测

< writeHost>:写库的配置

将以下配置复制粘贴覆盖mycat/conf/rule.xml的内容

< !DOCTYPE mycat:rule SYSTEM "rule.dtd">

< m ycat:rule xmlns:mycat="io.mycat/">

< tableRule name="rule1">

< rule>

< columns>id< /columns>

< algorithm>mod-long< /algorithm>

< /rule>

< /tableRule>

< function name="mod-long" class="io.mycat.route.function.PartitionByMod">

< property name="count">2< /property>

< /function>

< /mycat:rule>

这里定义的是切分规则，是按照id列进行切分，切分规则是采起取模的方式,

< property name="count">2< /property>:这里配置了咱们有拆分了多个库(表)，须要和前面配置

< table name="user" primaryKey="id" dataNode="dn01,dn02" rule="rule1" />

中的dataNode个数一致，不然会出错.

步骤五:

在数据库中建立两个数据库db01,db02.

每一个库中执行以下建表语句:

CREATE TABLE user ( id bigint(20) NOT NULL, name varchar(255) DEFAULT NULL, PRIMARY KEY (id) ) ENGINE=InnoDB DEFAULT CHARSET=utf8; 步骤六:

启动mycat,执行mycat/bin/startup_nowrap.sh

步骤七:

项目已经上传到github

github.com/javalanxion…

搭建SpringBoot环境，执行插入语句.

application.properties配置以下：

#配置数据源

spring.datasource.druid.driver-class-name=com.mysql.jdbc.Driver

#这里配置的是Mycat中server.xml中配置帐号密码，不是数据库的密码。

spring.datasource.druid.username=root

spring.datasource.druid.password=123456

#mycat的逻辑库 端口也是mycat的

spring.datasource.druid.url=jdbc:mysql://192.168.142.129:8066/TESTDB

UserMapper.java代码以下：

@Mapper

public interface UserMapper {

@Insert("insert into user(id,name) value (#{id},#{name})")

int insert(User user);

@Select("select * from user")

List selectAll();

}

UserController.java代码以下:

@RestController

@RequestMapping("/user")

public class UserController {

@Autowired

private UserMapper userMapper;

@RequestMapping("/save")

public String save(User user){

userMapper.insert(user);

return "保存成功";

}

@RequestMapping("/list")

public List list(){

return userMapper.selectAll();

} } 步骤八:

测试:

在地址栏输入:

http://localhost:8080/user/save?id=1&name=tom

http://localhost:8080/user/save?id=2&name=jack

查看数据库发现：

id为1的数据插入到数据库db02中的user表。

id为2的数据插入到数据库db01中的user表。

在地址栏输入:

http://localhost:8080/user/list 是能够看到刚刚插入的两条记录.

好到这一步咱们就已经完成了分表分库了.

最后针对于互联网公司java程序员涉及到的绝大部分难题我作成了文档和架构视频资料免费分享给你们（包括Dubbo、Redis、Netty、zookeeper、Spring cloud、分布式、高并发等架构技术资料），但愿能帮助到且找到一个好的工做，也节省你们在网上搜索资料的时间来学习，也能够关注我一下之后会有更多干货分享。