Mycat 配置

时间  2019-12-06
标签 mycat 配置 繁體版
原文   原文链接

前言

Mycat 是一个数据库分库分表中间件前端

MyCAT 是做为通用代理设计的，后端是以 Mysql协议 和 JDBC 的方式链接数据库，能够支持 Oracle、DB二、SQL Server 、 mongodb、mysqljava

mycat_middle.jpg

这里简单分享一下 Mycat 中的概念及配置的相关基础 ，详细内容能够参考 官方文档 、 Mycat-Server 和 Get Startnode

Tip: 当前的最新版本为 Mycat server 1.5 GAmysql

概要

概念

数据库中间件

db_midware.png

Mycat 其实只是一个数据中间件，或数据库代理git

Tip: 全部难搞定的事情均可以经过中间件有效处理，中间件能有效解耦并专一于特定领域问题，LVM、LVS、MQ 都是这个思路（房屋中介，银行也都是这个思路）github

因此Mycat没有存储引擎，自己并不存储数据，只是起到了请求分析，拆解，路由与结果聚合的做用，为前端应用提供统一接口，Mycat 与后端的数据库集群有机组合才一块儿构成一个分布式数据库系统web

逻辑库(schema)

mycat_schema.png

相似于LVM中VG的概念(VG由一个或多个PV构成)，逻辑库是由一个或多个后端数据库构成的，展现给应用的是一个单一视图，是分布式数据库在逻辑上的一个抽象算法

逻辑表(table)

  • 逻辑表

与数据库中表相对应的，分布式数据表在逻辑上的一个抽象sql

  • 分片表

数据表切分后的一个部分(原表的一个真子集)mongodb

  • 非分片表

没有分片的表，就是非分片表

  • ER表

保留了实体关系特性的表，就是ER表

关系型数据库是基于实体关系模型的相关理论来构建的数据库，表与表间有依赖关系，经过表分组(Table Group) 让有依赖的表在同一实例库中从而避免了数据Join不会跨库操做

  • 全局表

全局表是全部分片上都有一份完整拷贝的表

字典表或符合字典特性的表能够被设置为全局表

有如下特色的表，被称做字典表：

  • 变更不频繁
  • 数据量整体变化不大
  • 数据规模不大(不多超过十万条记录)
  • 会与其它表发生关联

这类表能够经过冗余来解决join问题，也就是全部的分片都放上一份数据的拷贝来避免跨分片联查

Tip: 数据冗余和表分组是解决跨分片数据join的好思路，也是数据切分规划的重要规则

mycat_table.png

分片节点(dataNode)

每一个表分片所在的数据库就是分片节点

节点主机(dataHost)

分片节点所在的服务器就是节点主机

Tip: 尽可能将读写压力高的分片节点均衡放在不一样的节点主机上，以免单节点主机并发数限制

分片规则(rule)

分片规则就是切分数据的规则

全局序列号(sequence)

保证数据全局惟一性标识的外部机制就是全局序列号

Tip: 单机(单实例)环境下的主键约束在分布式环境中将失效，所以得经过外部机制以全局视角来保证数据惟一性

多租户

多租户技术也叫多重租凭技术，就是在确保用户间数据隔离的前提下实如今多用户环境中共用相同系统或程序等软硬件资源的一种软件架构技术

mycat_multitenant.png

Tip: web 中广范使用的 VirtualHost 就是一种典型的多租户技术，多租户技术是为了更充分的使用到现有资源，同时不失权限控制的一种技术

  • 独立数据库
  • 共享数据库，隔离数据架构
  • 共享数据库，共享数据架构

隔离级别愈来愈低，共享程度愈来愈高，均摊成本愈来愈低

总体关系

mycat_arch.jpg

配置

Mycat 的大部分配置都是以 XML 的格式设定的

[root@h102 mycat]# ll conf/schema.xml -rwxrwxrwx 1 root root 4129 Feb 17 10:30 conf/schema.xml [root@h102 mycat]# ll conf/rule.xml -rwxrwxrwx 1 root root 4510 Feb 17 10:30 conf/rule.xml [root@h102 mycat]# ll conf/server.xml -rwxrwxrwx 1 root root 2507 Feb 17 10:30 conf/server.xml [root@h102 mycat]# ll conf/wrapper.conf -rwxrwxrwx 1 root root 4318 Feb 24 21:20 conf/wrapper.conf [root@h102 mycat]#
Conf Comment
conf/wrapper.conf JVM运行环境配置
conf/server.xml 用来定义系统相关变量
conf/schema.xml 用来定义逻辑库，表，分片节点
conf/rule.xml 用来定义分片规则

wrapper.conf

咱们使用这个文件来配置JVM的相关运行参数

[root@h102 conf]# cat wrapper.conf | egrep "(Xm|MaxDirectMemorySize)" #wrapper.java.additional.5=-XX:MaxDirectMemorySize=2G wrapper.java.additional.5=-XX:MaxDirectMemorySize=256m #wrapper.java.additional.10=-Xmx4G wrapper.java.additional.10=-Xmx512m #wrapper.java.additional.11=-Xms1G wrapper.java.additional.11=-Xms128m [root@h102 conf]#

以上配置是经常使用的对JVM内存的控制

server.xml

XML的格式就是各种标签

注释

这个标签用来框定注释范围

<!-- ... ... -->

mycat:server

这个标签用来框定服务配置范围

<mycat:server xmlns:mycat="http://org.opencloudb/"> </mycat:server>

system

这个标签用来框定系统配置范围，用来保存几乎全部mycat须要的系统配置信息(其在代码内直接的映射类为SystemConfig )

<system> </system>

property

用来设定服务的具体参数

<property name="defaultSqlParser">druidparser</property> <property name="processors">2</property> <property name="serverPort">8066</property> <property name="managerPort">9066</property> <property name="bindIp">0.0.0.0</property>

user

用来设定一个租户，与相关权限

这里设定了一个 cc 的租户，密码为 cc , 能够访问 cctest 的数据库(schema)

<user name="cc"> <property name="password">cc</property> <property name="schemas">cctest</property> </user>

schema.xml

mycat:schema

这个标签用来框定shema的配置范围

<mycat:schema xmlns:mycat="http://org.opencloudb/"> </mycat:schema>

schema

用来配置一个逻辑库(schema)

这里配置了一个名叫 cctest 的逻辑库，不检查SQL，默认limit为100(sql中不添加limit的状况下，mycat会隐式添加，以免返回太多结果)，其中包含两个逻辑表，catworld 和 catworld4 ，catworld 有三个分片，使用 mod-long 的规则，catworld4 有四个分片，使用 mod4-long 的分片规则

<schema name="cctest" checkSQLschema="false" sqlMaxLimit="100"> <table name="catworld" dataNode="sd1,sd2,sd3" rule="mod-long" /> <table name="catworld4" dataNode="sd1,sd2,sd3,sd4" rule="mod4-long" /> </schema>
Attribute Comment
checkSQLschema 隐式删除schema前缀
sqlMaxLimit 隐式添加limit语句

table

Attribute Comment
dataNode 指定所属数据节点
rule 指定分片规则

dataNode

这个标签用来定义数据节点(数据分片存放的地方)

<dataNode name="sd1" dataHost="h101" database="my1" /> <dataNode name="sd2" dataHost="h101" database="my2" /> <dataNode name="sd3" dataHost="h101" database="my3" /> <dataNode name="sd4" dataHost="h202" database="my4" />
Attribute Comment
dataHost 指定所属数据库实例
database 指定数据库实例上的实际数据库名(必定要和真实库同样的名字，这个不是被标签订义的，是要提早在实例中手动建立的)

dataHost

节点主机的相关配置

<dataHost name="h101" maxCon="100" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100"> <heartbeat>select user()</heartbeat> <writeHost host="h101M1" url="192.168.100.101:3306" user="root" password="mysql"> <!-- can have multi read hosts --> </writeHost> </dataHost> <dataHost name="h202" maxCon="100" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100"> <heartbeat>select user()</heartbeat> <writeHost host="h202M1" url="192.168.100.202:3306" user="root" password="mysql"> <!-- can have multi read hosts --> </writeHost> </dataHost>
Attribute Comment
maxCon 一个读写实例连接池的最大链接数
minCon 一个读写实例连接池的最小链接数，初始化链接池的大小
balance 负载均衡类型：0 表明不开启读写分离机制，只使用writeHost; 1 表明readHost与writeHost分担读请求; 2 表明随机分配读请求和1相似; 3 表明只由readHost来承担读请求
writeType 负载均衡类型：0 表明发到第一个writeHost,挂了后切到还生存的第二个writeHost,从新启动后以切换后的为准，也就是不漂回；1 表明写操做随机发送到writeHost,这样不安全；
dbType 后端数据库类型
dbDriver mysql系可使用native,其它系列得使用JDBC
switchType 切换类型：-1 表明不切换，1 表明自动切换， 2 表明基于主从同步状态决定是否切换
slaveThreshold slave读的安全边界，若是Seconds_Behind_Master 大于这个值，这台slave会被临时剔除，以避免被读

heartbeat

里面包含一个语句，用语句执行成功与否来断定数据库的可用性

writeHost/readHost

Attribute Comment
host 一个主机标识，便于区分，没必要和真实主机名一致
url 后端实例链接地址
user 链接帐户
password 链接密码

Tip: 用户名和密码要提早在各实例中赋予相应链接和操做权限

rule.xml

此配置用来定义分片规则

mycat:rule

框定rule的配置范围

<mycat:rule xmlns:mycat="http://org.opencloudb/"> </mycat:rule>

tableRule

定义一个分片规则

定义了一个 mod-long 的分片规则，对 id 列进行分片，使用 mod-long 算法；定义了一个 mod4-long 的分片规则，对 id 列进行分片，使用 mod4-long 算法

<tableRule name="mod-long"> <rule> <columns>id</columns> <algorithm>mod-long</algorithm> </rule> </tableRule> <tableRule name="mod4-long"> <rule> <columns>id</columns> <algorithm>mod4-long</algorithm> </rule> </tableRule>

function

<function name="mod-long" class="org.opencloudb.route.function.PartitionByMod"> <!-- how many data nodes --> <property name="count">3</property> </function> <function name="mod4-long" class="org.opencloudb.route.function.PartitionByMod"> <!-- how many data nodes --> <property name="count">4</property> </function>
Attribute Comment
class 使用的类
property 经过 count=3/4 来指定分片数(指定模数)

注意

XML中定义的标签有顺序，若是不按照顺序进行配置，会报错

好比 schema.xml 中的顺序为

  • 1.定义 schema
  • 2.定义 dataNode
  • 3.定义 dataHost

若是不按顺序，会没法启动mycat，而且 mycat.log 中会报错

这里只对一套简单基础的配置进行了分析，只涵盖了一小部分，还未涵盖到的，能够参考 官方文档

命令汇总

  • ll conf/schema.xml
  • ll conf/rule.xml
  • ll conf/server.xml
  • ll conf/wrapper.conf
  • cat wrapper.conf | egrep "(Xm|MaxDirectMemorySize)"
相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程