Amobea读写分离

时间 2019-12-17

标签 amobea 读写分离繁體版

原文原文链接

Amoeba的中文意思是变型虫，Amoeba是一个以MySQL为底层数据存储，并对应用提供MySQL协议接口的proxy。它集中地响应应用的请求，依据用户事先设置的规则，将SQL请求发送到特定的数据库上执行。基于此能够实现负载均衡、读写分离、高可用性等需求。与MySQL官方的MySQL Proxy相比，做者强调的是amoeba配置的方便（基于XML的配置文件，用SQLJEP语法书写规则，比基于lua脚本的MySQL Proxy简单）；java

　　 Amoeba至关于一个SQL请求的路由器，目的是为负载均衡、读写分离、高可用性提供机制，而不是彻底实现它们。用户须要结合使用MySQL的 Replication等机制来实现副本同步等功能。amoeba对底层数据库链接管理和路由实现也采用了可插拨的机制，第三方能够开发更高级的策略类来替代做者的实现。这个程序整体上比较符合KISS原则的思想。mysql

　　主要解决：
　　　　• 下降数据切分带来的复杂多数据库结构
　　　　• 提供切分规则并下降数据切分规则给应用带来的影响
　　　　• 下降db 与客户端的链接数
　　　　• 读写分离linux

不足之处:
　　　　a)目前还不支持事务
　　　　b)暂时不支持存储过程（近期会支持）
　　　　c)不适合从amoeba导数据的场景或者对大数据量查询的query并不合适（好比一次请求返回10w以上甚至更多数据的场合）
　　　　d)暂时不支持分库分表，amoeba目前只作到分数据库实例，每一个被切分的节点须要保持库表结构一致：
Amoeba：阿米巴原虫sql

1》环境介绍数据库

　　master--IP:192.168.100.161
　　slave---IP:192.168.100.160
　　Amoeba--IP:192.168.100.214
2》安装JDKvim

　　#mkdir /Amoeba
　　#tar –xvf jdk-7u40-linux-x64.tar.gz -C /Amoeba
　　# vim /etc/profile
　　JAVA_HOME=/Amoeba/jdk1.7.0_40
　　export JAVA_HOME
　　PATH=$JAVA_HOME/bin:$PATH
　　export PATH
　　CLASSPATH=:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH
　　export CLASSPATHbash

3》安装Amoeba　　#:mkdir /usr/local/amoebaapp

　　#:unzip amoeba-mysql-1.3.1-BETA.zip -d /usr/local/amoeba
　　#:chmod -R +x /usr/local/amoeba/bin/
　　#java -version
　　java version "1.7.0_40"
　　Java(TM) SE Runtime Environment (build 1.7.0_40-b43)
　　Java HotSpot(TM) 64-Bit Server VM (build 24.0-b56, mixed mode)

4》主从受权，增长用户负载均衡

　　mysql-->grant all privileges on *.* to amoeba@'%' identified by 'amoeba123';
　　mysql-->flush privileges;socket

5》Amoeba配置介绍　　

Amoeba For MySQL 的使用很是简单，全部的配置文件都是标准的XML 文件，总共有四个配置文件。分别为：amoeba.xml：主配置文件，配置全部数据源以及 Amoeba 自身的参数设置；实现主从的话配置这个文件就能够了；

　　rule.xml：配置全部Query 路由规则的信息；
　　functionMap.xml：配置用于解析Query 中的函数所对应的Java 实现类；
　　rullFunctionMap.xml：配置路由规则中须要使用到的特定函数的实现类；
6》配置Amoeba IP 与用户

　　# vim /usr/local/amoeba/conf/amoeba.xml

7》Amoeba配置Master基本信息

8》Amoeba配置Slave基本信息

9》Master负载配置

10》Slave负载配置

11》最后配置读写分离

启动Amoeba
　　# cd /usr/local/amoeba/bin
这种启动方便看nohup.log日志.防止提示溢出
　　#:nohup bash -x amoeba &

常见错误：1
　　　　The stack size specified is too small, Specify at least 228k
　　　　Error: Could not create the Java Virtual Machine.
　　　　Error: A fatal exception has occurred. Program will exit.
　　解决办法:
　　　　# vim /usr/local/amoeba/bin/amoeba
　　　　#DEFAULT_OPTS="-server -Xms256m -Xmx256m -Xss128k" 注释
　　　　DEFAULT_OPTS="-server -Xms256m -Xmx256m -Xss256k" 增长

　　常见错误2:
　　org.xml.sax.SAXParseException; lineNumber: 406; columnNumber: 6; 注释中不容许出现字符串"--"。
　　解决办法：
　　后来改了一大通，试了一下午，才发现。咱们的注释两边要有空格，才行。

举例

12》测试是否读写分离

　　1>在(master)主上的test库创建一个alvin的表
　　　　Mysql->use test;
　　　　Mysql->create table alvin(id int(10),name char(10));

2>在(slave)从上查看test库是否同步了alvin表
　　　　Mysql-> use test;
　　　　Mysql->show tables;
　 3>在主(master)操做.插入一条数据.
　　　　mysql-->insert into alvin values(1,'master');
　 4>在从(slave)操做,插入一条数据.
　　　　mysql-->insert into alvin values(2,'slave');
　　注意由于从同步主的数据。因此这里有2条数据，

5>在Amoeba机器上操做
　　在192.168.100.214上面测试,这个密码就是配置文件里面对外的验证密码root 和密码123456

#mysql –u root –p 123456 –h 192.168.100.214 –P 9066
　　(1) 先验证读:咱们配置文件是用的是DR轮询,注意这个IP地址要写：amoeba的IP地址，不是master也不是slave ，是经过amoeba代理登录192.168.100.214
　　　　Mysql->use test;
　　　　测试轮询成功,主和从各查询一次。
　　(2) 验证写:正常来讲。若是只有所有写到主里面，两边的数据才会以至。若是其中有一个不一致的话。那么说明写到从里面去了。由于主不会同步从的数据。都是单向数据传输。

13》经常使用配置写法：

　　(1)若是负载多个库,软件会根据你用户受权来决定对哪些库有权限：
　　　　grant all privileges on *.* to amoeba@'%' identified by 'amoeba123'; 这里写的是all 那么就是对全部的库有权限(会自动负载全部的库).
　　　　上面配置文件的库名test.根据这个语句来决定.若是是all.那么直接用写test来测试.方便一点.

　　(2)一主一从的负载写法一:
　　　　主只写.<property name="poolNames">server1</property>
　　　　从只读.<property name="poolNames">server2</property>

　　(3)一主一从的负载写法:
　　　　主负写:<property name="poolNames">server1</property>
　　　　主也负责读,从也负责读.比例1:1 第一读.从.第二次读住.循环写的话,只能写主.<property name="poolNames">server1,server2</property>

　　(4)一主多从的负载写法:
　　　　好比.一台主.3台从.在最上面定义了.server1(master) server2(slave1) server3(slave2) server4(slave3)
　　　　1主只写:<property name="poolNames">server1</property>
　　　　3从负载读 <property name="poolNames">server2,server3,server4</property>
　　　　权重:1:1 3台轮询各一次.持续循环

　　(5)好比我想要.slave1 权重高一点.其它的.2台从.每次读一次.slave1读.2次.
　　　　<property name="poolNames">server2,server2,server3,server4</property>

=================================================================amoeba.xml配置文件<?xml version="1.0" encoding="gbk"?><!DOCTYPE amoeba:configuration SYSTEM "amoeba.dtd"><amoeba:configuration xmlns:amoeba="http://amoeba.meidusa.com/"> <server>  <property name="port">6006</property>  <property name="ipAddress">10.0.2.160</property>  <property name="readThreadPoolSize">20</property>  <property name="clientSideThreadPoolSize">30</property>  <property name="serverSideThreadPoolSize">30</property>  <property name="netBufferSize">128</property>  <property name="tcpNoDelay">true</property>  <property name="user">root</property>  <property name="password">123456</property>  <property name="queryTimeout">60</property> </server>  <connectionManagerList> <connectionManager name="defaultManager" class="com.meidusa.amoeba.net.MultiConnectionManagerWrapper"> <property name="subManagerClassName">com.meidusa.amoeba.net.AuthingableConnectionManager</property>  </connectionManager> </connectionManagerList> <dbServerList>  <dbServer name="server1">  <factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory"> <property name="manager">defaultManager</property>  <property name="port">3306</property>  <property name="ipAddress">10.0.2.159</property> <property name="schema">test</property>  <property name="user">amoeba</property>  <property name="password">amoeba123</property> </factoryConfig>  <poolConfig class="com.meidusa.amoeba.net.poolable.PoolableObjectPool"> <property name="maxActive">200</property> <property name="maxIdle">200</property> <property name="minIdle">10</property> <property name="minEvictableIdleTimeMillis">600000</property> <property name="timeBetweenEvictionRunsMillis">600000</property> <property name="testOnBorrow">true</property> <property name="testWhileIdle">true</property> </poolConfig> </dbServer> <dbServer name="server2">  <factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory"> <property name="manager">defaultManager</property>  <property name="port">3306</property>  <property name="ipAddress">10.0.2.158</property> <property name="schema">test</property>  <property name="user">amoeba</property>  <property name="password">amoeba123</property> </factoryConfig>  <poolConfig class="com.meidusa.amoeba.net.poolable.PoolableObjectPool"> <property name="maxActive">200</property> <property name="maxIdle">200</property> <property name="minIdle">10</property> <property name="minEvictableIdleTimeMillis">600000</property> <property name="timeBetweenEvictionRunsMillis">600000</property> <property name="testOnBorrow">true</property> <property name="testWhileIdle">true</property> </poolConfig> </dbServer> <dbServer name="master" virtual="true"> <poolConfig class="com.meidusa.amoeba.server.MultipleServerPool">  <property name="loadbalance">1</property>  <property name="poolNames">server1</property> </poolConfig> </dbServer> <dbServer name="slave" virtual="true"> <poolConfig class="com.meidusa.amoeba.server.MultipleServerPool">  <property name="loadbalance">1</property>  <property name="poolNames">server1,server2</property> </poolConfig> </dbServer> </dbServerList> <queryRouter class="com.meidusa.amoeba.mysql.parser.MysqlQueryRouter"> <property name="ruleConfig">${amoeba.home}/conf/rule.xml</property> <property name="functionConfig">${amoeba.home}/conf/functionMap.xml</property> <property name="ruleFunctionConfig">${amoeba.home}/conf/ruleFunctionMap.xml</property> <property name="LRUMapSize">1500</property> <property name="defaultPool">master</property> <property name="writePool">master</property> <property name="readPool">slave</property> <property name="needParse">true</property> </queryRouter></amoeba:configuration>