开源数据库中间件-MyCa初探与分片实践

时间 2019-11-17

标签开源数据库中间件 myca 初探分片实践栏目 SQL 繁體版

原文原文链接

著做权归做者全部，任何形式的转载都请联系做者得到受权并注明出处。

现在随着互联网的发展，数据的量级也是撑指数的增加，从GB到TB到PB。对数据的各类操做也是越发的困难，传统的关系性数据库已经没法知足快速查询与插入数据的需求。这个时候NoSQL的出现暂时解决了这一危机。它经过下降数据的安全性，减小对事务的支持，减小对复杂查询的支持，来获取性能上的提高。node
可是，在有些场合NoSQL一些折衷是没法知足使用场景的，就好比有些使用场景是绝对要有事务与安全指标的。这个时候NoSQL确定是没法知足的，因此仍是须要使用关系性数据库。若是使用关系型数据库解决海量存储的问题呢？此时就须要作数据库集群，为了提升查询性能将一个数据库的数据分散到不一样的数据库中存储。mysql

MyCat简介

Mycat 背后是阿里曾经开源的知名产品——Cobar。Cobar 的核心功能和优点是 MySQL 数据库分片，此产品曾经广为流传，听说最先的发起者对 Mysql 很精通，后来从阿里跳槽了，阿里随后开源的 Cobar，并维持到 2013 年年初，而后，就没有而后了。linux
Cobar 的思路和实现路径的确不错。基于 Java 开发的，实现了 MySQL 公开的二进制传输协议，巧妙地将本身假装成一个 MySQL Server，目前市面上绝大多数MySQL客户端工具和应用都能兼容。比本身实现一个新的数据库协议要明智的多，由于生态环境在哪里摆着。git
Mycat 是基于 cobar 演变而来，对 cobar 的代码进行了完全的重构，使用 NIO 重构了网络模块，而且优化了 Buffer 内核，加强了聚合，Join 等基本特性，同时兼容绝大多数数据库成为通用的数据库中间件。github
简单的说，MyCAT就是：一个新颖的数据库中间件产品支持mysql集群，或者mariadb cluster，提供高可用性数据分片集群。你能够像使用mysql同样使用mycat。对于开发人员来讲根本感受不到mycat的存在。算法

MyCat支持的数据库：

MyCat下载及安装

MySQL安装与启动

JDK：要求jdk必须是1.7及以上版本
MySQL：推荐mysql是5.5以上版本
MySQL安装与启动步骤以下：( 步骤1-5省略 )sql

将MySQL的服务端和客户端安装包（RPM）上传到服务器

2. 查询以前是否安装过MySQL
rpm -qa|grep -i mysql
3. 卸载旧版本MySQL
rpm -e --nodeps 软件名称
4. 安装服务端
rpm -ivh MySQL-server-5.5.49-1.linux2.6.i386.rpm
5. 安装客户端
rpm -ivh MySQL-client-5.5.49-1.linux2.6.i386.rpm
6. 启动MySQL服务
service mysql start
7. 登陆MySQL
mysql -u root
8. 设置远程登陆权限
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%'IDENTIFIED BY '123456' WITH GRANT OPTION;
在本地SQLyog 链接远程MySQL进行测试

MyCat安装及启动

MyCat的官方网站： www.mycat.org.cn
下载地址： github.com/MyCATApache…数据库

将Mycat-server-1.4-release-20151019230038-linux.tar.gz上传至服务器
将压缩包解压缩。建议将mycat放到/usr/local/mycat目录下

tar -xzvf Mycat-server-1.4-release-20151019230038-linux.tar.gz
mv mycat /usr/local
复制代码

进入mycat目录的bin目录，启动： ./mycat start 中止：./mycat stop

mycat 支持的命令{ console | start | stop | restart | status | dump }
Mycat的默认端口号为：8066安全

MyCat分片

什么是分片

简单来讲，就是指经过某种特定的条件，将咱们存放在同一个数据库中的数据分散存放到多个数据库（主机）上面，以达到分散单台设备负载的效果。bash

数据的切分（Sharding）根据其切分规则的类型，能够分为两种切分模式。

一种是按照不一样的表（或者Schema）来切分到不一样的数据库（主机）之上，这种切分能够称之为数据的垂直（纵向）切分

2. 另一种则是根据表中的数据的逻辑关系，将同一个表中的数据按照某种条件拆分到多台数据库（主机）上面，这种切分称之为数据的水平（横向）切分。

MyCat分片策略：

分片相关的概念

逻辑库(schema) ：

前面一节讲了数据库中间件，一般对实际应用来讲，并不须要知道中间件的存在，业务开发人员只须要知道数据库的概念，因此数据库中间件能够被看作是一个或多个数据库集群构成的逻辑库。

逻辑表（table）：

既然有逻辑库，那么就会有逻辑表，分布式数据库中，对应用来讲，读写数据的表就是逻辑表。逻辑表，能够是数据切分后，分布在一个或多个分片库中，也能够不作数据切分，不分片，只有一个表构成。

分片表：

是指那些原有的很大数据的表，须要切分到多个数据库的表，这样，每一个分片都有一部分数据，全部分片构成了完整的数据。总而言之就是须要进行分片的表。

非分片表：

一个数据库中并非全部的表都很大，某些表是能够不用进行切分的，非分片是相对分片表来讲的，就是那些不须要进行数据切分的表。

分片节点(dataNode)

数据切分后，一个大表被分到不一样的分片数据库上面，每一个表分片所在的数据库就是分片节点（dataNode）。

节点主机(dataHost)

数据切分后，每一个分片节点（dataNode）不必定都会独占一台机器，同一机器上面能够有多个分片数据库，这样一个或多个分片节点（dataNode）所在的机器就是节点主机（dataHost）,为了规避单节点主机并发数限制，尽可能将读写压力高的分片节点（dataNode）均衡的放在不一样的节点主机（dataHost）。

分片规则(rule)

前面讲了数据切分，一个大表被分红若干个分片表，就须要必定的规则，这样按照某种业务规则把数据分到某个分片的规则就是分片规则，数据切分选择合适的分片规则很是重要，将极大的避免后续数据处理的难度。

MyCat分片配置

配置schema.xml
- schema.xml做为MyCat中重要的配置文件之一，管理着MyCat的逻辑库、逻辑表以及对应的分片规则、DataNode以及DataSource。弄懂这些配置，是正确使用MyCat的前提。这里就一层层对该文件进行解析。
- schema 标签用于定义MyCat实例中的逻辑库
- Table 标签订义了MyCat中的逻辑表 rule用于指定分片规则，auto-sharding-long的分片规则是按ID值的范围进行分片 1-5000000 为第1片 5000001-10000000 为第2片.... 具体设置咱们会在第5小节中讲解。
- dataNode 标签订义了MyCat中的数据节点，也就是咱们一般说所的数据分片。
- dataHost标签在mycat逻辑库中也是做为最底层的标签存在，直接定义了具体的数据库实例、读写分离配置和心跳语句。
- 在服务器上建立3个数据库，分别是db1 db2 db3
- 修改schema.xml以下：
```
<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://org.opencloudb/">
	<schema name="PINYOUGOUDB" checkSQLschema="false" sqlMaxLimit="100">
		<table name="tb_test" dataNode="dn1,dn2,dn3" rule="auto-sharding-long" />
	</schema>
	<dataNode name="dn1" dataHost="localhost1" database="db1" />
	<dataNode name="dn2" dataHost="localhost1" database="db2" />
	<dataNode name="dn3" dataHost="localhost1" database="db3" />
	<dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"
		writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
		<heartbeat>select user()</heartbeat>
		<writeHost host="hostM1" url="192.168.25.142:3306" user="root"
			password="123456">
		</writeHost>
	</dataHost>	
</mycat:schema>
复制代码
```
配置 server.xml
- server.xml几乎保存了全部mycat须要的系统配置信息。最经常使用的是在此配置用户名、密码及权限。在system中添加UTF-8字符集设置，不然存储中文会出现问号
  <property name="charset">utf8</property>
- 修改user的设置 , 咱们这里为 PINYOUGOUDB设置了两个用户
```
<user name="test">
		<property name="password">test</property>
		<property name="schemas">PINYOUGOUDB</property>
	</user>
	<user name="root">
		<property name="password">123456</property>
		<property name="schemas">PINYOUGOUDB</property>
	</user>
复制代码
```

MyCat分片测试

进入mycat ，执行下列语句建立一个表:

CREATE TABLE tb_test (
  id BIGINT(20) NOT NULL,
  title VARCHAR(100) NOT NULL ,
  PRIMARY KEY (id)
) ENGINE=INNODB DEFAULT CHARSET=utf8 
复制代码

建立后你会发现，MyCat会自动将你的表转换为大写，这一点与Oracle有些相似。

咱们再查看MySQL的3个库，发现表都自动建立好啦。好神奇。
接下来是插入表数据，注意，在写INSERT语句时必定要写把字段列表写出来，不然会出现下列错误提示：
错误代码： 1064 partition table, insert must provide ColumnList
咱们试着插入一些数据：

INSERT INTO TB_TEST(ID,TITLE) VALUES(1,'goods1');
INSERT INTO TB_TEST(ID,TITLE) VALUES(2,'goods2');
INSERT INTO TB_TEST(ID,TITLE) VALUES(3,'goods3');
复制代码

咱们会发现这些数据被写入到第一个节点中了，那何时数据会写到第二个节点中呢？咱们插入下面的数据就能够插入第二个节点了
INSERT INTO TB_TEST(ID,TITLE) VALUES(5000001,'goods5000001');

由于咱们采用的分片规则是每节点存储500万条数据，因此当ID大于5000000则会存储到第二个节点上。目前只设置了两个节点，若是数据大于1000万条，会怎么样呢？执行下列语句测试一下 INSERT INTO TB_TEST(ID,TITLE) VALUES(10000001,'goods10000001');

MyCat分片规则

rule.xml用于定义分片规则，咱们这里讲解两种最多见的分片规则

按主键范围分片rang-long，在配置文件中咱们找到

<tableRule name="auto-sharding-long">
	<rule>
	    <columns>id</columns>
	    <algorithm>rang-long</algorithm>
	</rule>
    </tableRule>
复制代码

tableRule 是定义具体某个表或某一类表的分片规则名称，columns用于定义分片的列，algorithm表明算法名称，咱们接着找rang-long的定义

<function name="rang-long"
	class="org.opencloudb.route.function.AutoPartitionByLong">
	<property name="mapFile">autopartition-long.txt</property>
</function>
复制代码

Function用于定义算法 mapFile 用于定义算法须要的数据，咱们打开autopartition-long.txt

# range start-end ,data node index
# K=1000,M=10000.
0-500M=0
500M-1000M=1
1000M-1500M=2
复制代码

一致性哈希murmur

当咱们须要将数据平均分在几个分区中，须要使用一致性hash规则，咱们找到function的name为murmur 的定义，将count属性改成3，由于我要将数据分红3片

<function name="murmur"
	class="org.opencloudb.route.function.PartitionByMurmurHash">
	<property name="seed">0</property>      <!-- 默认是0 -->
	<property name="count">3</property>     <!-- 要分片的数据库节点数量，必须指定，不然无法分片 -->
	<!-- 一个实际的数据库节点被映射为这么多虚拟节点，默认是160倍，也就是虚拟节点数是物理节点数的160倍 -->
	<property name="virtualBucketTimes">160</property>
	
	<!-- 
	<property name="weightMapFile">weightMapFile</property> 
	节点的权重，没有指定权重的节点默认是1。
	以properties文件的格式填写，以从0开始到count-1的整数值也就是节点索引为key，
	以节点权重值为值。全部权重值必须是正整数，不然以1代替    
	-->
	<!-- 
	<property name="bucketMapPath">/etc/mycat/bucketMapPath</property> 
	用于测试时观察各物理节点与虚拟节点的分布状况，若是指定了这个属性，
	会把虚拟节点的murmur hash值与物理节点的映射按行输出到这个文件，没有默认值，若是不指定，就不会输出任何东西
	-->
</function>
复制代码

咱们再配置文件中能够找到表规则定义

<tableRule name="sharding-by-murmur">
	<rule>
		<columns>id</columns>
		<algorithm>murmur</algorithm>
	</rule>
</tableRule>
复制代码

可是这个规则指定的列是id ,若是咱们的表主键不是id ,而是order_id ,那么咱们应该从新定义一个tableRule：

<tableRule name="sharding-by-murmur-order">
	<rule>
		<columns>order_id</columns>
		<algorithm>murmur</algorithm>
	</rule>
</tableRule>
复制代码

在schema.xml中配置逻辑表时，指定规则为sharding-by-murmur-order <table name="tb_order" dataNode="dn1,dn2,dn3" rule="sharding-by-murmur-order" />
咱们测试一下，建立订单表 ,并插入数据，测试分片效果。

了解数据库读写分离

数据库读写分离对于大型系统或者访问量很高的互联网应用来讲，是必不可少的一个重要功能。对于MySQL来讲，标准的读写分离是主从模式，一个写节点Master后面跟着多个读节点，读节点的数量取决于系统的压力，一般是1-3个读节点的配置

Mycat读写分离和自动切换机制，须要mysql的主从复制机制配合。

扩展思考

连表查询怎么作
分片策略是每一个表须要配吗？若是不配置的话会怎么样？
分片策略有哪些，都应对什么场景比较多
支持事务吗？怎么支持的？
查询夸库时，返回的结果集是怎么样的？效率怎么样呢？
不一样的分片策略下，实例扩展怎么操做
缺点是怎么样的