高可用采用mha方式实现,由于keepalive存在脑裂现象,因此vip漂移采用mha自带的脚本实现,读写分离采用基于MySQL-proxy的360公司的atlas实现。php
MHA(Master High Availability)目前在MySQL高可用方面是一个相对成熟的解决方案,它由日本DeNA公司youshimaton(现就任于Facebook公司)开发,是一套优秀的做为MySQL高可用性环境下故障切换和主从提高的高可用软件。在MySQL故障切换过程当中,MHA能作到在10~30秒以内自动完成数据库的故障切换操做,而且在进行故障切换的过程当中,MHA能在最大程度上保证数据的一致性,以达到真正意义上的高可用。html
MHA可以在较短的时间内实现自动故障检测和故障转移,一般在10-30秒之内;在复制 框架中,MHA可以很好地解决复制过程当中的数据一致性问题,因为不须要在现有的 replication中添加额外的服务器,仅须要一个manager节点,而一个Manager能管理多套复制,因此能大大地节约服务器的数量;另外,安装简单,无性能损耗,以及不须要修改现 有的复制部署也是它的优点之处。前端
MHA还提供在线主库切换的功能,可以安全地切换当前运行的主库到一个新的主库中 (经过将从库提高为主库),大概0.5-2秒内便可完成。node
该软件由两部分组成:MHA Manager(管理节点)和MHA Node(数据节点)。MHA Manager能够单独部署在一台独立的机器上管理多个master-slave集群,也能够部署在一台slave节点上。MHA Node运行在每台MySQL服务器上,MHA Manager会定时探测集群中的master节点,当master出现故障时,它能够自动将最新数据的slave提高为新的master,而后将全部其余的slave从新指向新的master。整个故障转移过程对应用程序彻底透明。
在MHA自动故障切换过程当中,MHA试图从宕机的主服务器上保存二进制日志,最大程度的保证数据的不丢失,但这并不老是可行的。例如,若是主服务器硬件故障或没法经过ssh访问,MHA无法保存二进制日志,只进行故障转移而丢失了最新的数据。使用MySQL 5.5的半同步复制,能够大大下降数据丢失的风险。mysql
MHA能够与半同步复制结合起来。若是只有一个slave已经收到了最新的二进制日志,MHA能够将最新的二进制日志应用于其余全部的slave服务器上,所以能够保证全部节点的数据一致性。linux
目前MHA主要支持一主多从的架构,要搭建MHA,要求一个复制集群中必须最少有三台数据库服务器,一主二从,即一台充当master,一台充当备用master,另一台充当从库,由于至少须要三台服务器,出于机器成本的考虑,淘宝也在该基础上进行了改造,目前淘宝TMHA已经支持一主一从。nginx
主:192.168.100.52
从:192.168.100.53
从:192.168.100.54
vip:192.168.100.55
关闭全部节点的selinux和防火墙或开放3306端口
- 管理节点:
mha-manager 192.168.100.53git
yum -y install perl-ExtUtils-CBuilder perl-ExtUtils-MakeMaker perl-DBD-MySQL perl-Config-Tiny perl-Log-Dispatch perl-Parallel-ForkManager perl-ExtUtils-Embed cpan
# 先安装node
tar xf mha4mysql-node-0.56.tar.gz
cd mha4mysql-node-0.56
perl Makefile.PL
make && make install
# 再安装manager
tar xf mha4mysql-manager-0.56.tar.gz
cd mha4mysql-manager-0.56
perl Makefile.PL
make && make install
mkdir /etc/mha
mkdir -p /data/logs/mha/app1
cp mha4mysql-manager-0.56/samples/conf/app1.cnf /etc/mha
配置文件:github
[server default]
manager_workdir=/data/logs/mha/app1
manager_log=/data/logs/mha/app1/manager.log
master_binlog_dir=/data/data/mysql
master_ip_failover_script=/usr/local/bin/master_ip_failover
master_ip_online_change_script=/usr/local/bin/master_ip_online_change
ssh_user=root
ssh_port=22
user=admin
password=mha_admin
repl_user=slave
repl_password=nx111
ping_interval=1
[server1]
ignore_fail=0
hostname=192.168.100.52
port=3306
[server2]
ignore_fail=0
hostname=192.168.100.53
port=3306
candidate_master=1
check_repl_delay=0
[server3]
ignore_fail=0
hostname=192.168.100.54
port=3306
配置文件详解:web
1 [server default]
2 #设置manager的工做目录
3 manager_workdir=/var/log/masterha/app1
4 #设置manager的日志
5 manager_log=/var/log/masterha/app1/manager.log
6 #设置master 保存binlog的位置,以便MHA能够找到master的日志,我这里的也就是mysql的数据目录
7 master_binlog_dir=/data/mysql
8 #设置自动failover时候的切换脚本
9 master_ip_failover_script= /usr/local/bin/master_ip_failover
10 #设置手动切换时候的切换脚本
11 master_ip_online_change_script= /usr/local/bin/master_ip_online_change
12 #设置mysql中root用户的密码,这个密码是前文中建立监控用户的那个密码
13 password=123456
14 #设置监控用户root
15 user=root
16 #设置监控主库,发送ping包的时间间隔,尝试三次没有回应的时候自动进行failover
17 ping_interval=1
18 #设置远端mysql在发生切换时binlog的保存位置
19 remote_workdir=/tmp
20 #设置复制用户的密码
21 repl_password=123456
22 #设置复制环境中的复制用户名
23 repl_user=rep
24 #设置发生切换后发送的报警的脚本
25 report_script=/usr/local/send_report
26 #一旦MHA到server02的监控之间出现问题,MHA Manager将会尝试从server03登陆到server02
27 secondary_check_script= /usr/local/bin/masterha_secondary_check -s server03 -s server02 --user=root --master_host=server02 --master_ip=10.0.0.51 --master_port=3306
28 #设置故障发生后关闭故障主机脚本(该脚本的主要做用是关闭主机放在发生脑裂,这里没有使用)
29 shutdown_script=""
30 #设置ssh的登陆用户名
31 ssh_user=root
32
33 [server1]
34 hostname=10.0.0.51
35 port=3306
36
37 [server2]
38 hostname=10.0.0.52
39 port=3306
40 #设置为候选master,若是设置该参数之后,发生主从切换之后将会将此从库提高为主库,即便这个主库不是集群中事件最新的slave
41 candidate_master=1
42 #默认状况下若是一个slave落后master 100M的relay logs的话,MHA将不会选择该slave做为一个新的master,由于对于这个slave的恢复须要花费很长时间,经过设置check_repl_delay=0,MHA触发切换在选择一个新的master的时候将会忽略复制延时,这个参数对于设置了candidate_master=1的主机很是有用,由于这个候选主在切换的过程当中必定是新的master
43 check_repl_delay=0
tar xf mha4mysql-node-0.56.tar.gz
cd mha4mysql-node-0.56
perl Makefile.PL
make && make install
ssh-keygen
ssh-copy-id -i 公钥文件 ip
master_chekc_ssh -conf=/etc/mha/app1.cnf
进行测试vim /etc/my.cnf
[mysql]
server_id = 1 # 设置优先级最高
log_bin = binlog # 开启二进制日志
log_bin = binlog.index
read_only = 1 # 设置只读权限
relay_log_purge = 0 # 关闭自动清除执行完毕后的中级日志
# 创建从服务器帐户
grant replication slave on *.* to 'slave'@'192.168.100.%' identified by 'nx111';
# 创建mha管理用帐户
grant all on *.* to 'admin'@'192.168.100.%' identified by 'mha_admin';
show master status
+---------------+----------+--------------+------------------+-------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set | +---------------+----------+--------------+------------------+-------------------+
| binlog.000001 | 686 | | | | +---------------+----------+--------------+------------------+-------------------+
change master to
master_host='192.168.100.52',
master_user='slave',
master_password='nx111',
master_log_file='binlog.000001',
master_log_pos=686;
masterha_check_repl --conf=/etc/mha/app1.cnf
MySQL Replication Health is OK.
nohup /usr/local/bin/masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /data/logs/mha/app1/manager.log 2>&1 &
masterha_check_status --conf=/etc/mha/app1.cnf
app1 (pid:11809) is running(0:PING_OK), master:192.168.100.52
代表成功运行/etc/init.d/mysqld stop
<?php echo time() . PHP_EOL; $db = new mysqli('192.168.100.55','admin','mha_admin'); if ($db->connect_errno) { die("链接数据库失败". $db->connect_error); } echo "链接成功"; $db->close(); ?>
/usr/local/bin/master_ip_failover
/usr/local/bin/master_ip_online_change
ip addr add 192.168.100.55/32 dev eth0
浏览器打开前端服务器能够看到
用masterha_check_repl --conf=/etc/mha/app1.cnf
检测一下,输出所有ok,MySQL Replication Health is OK.
就能够启动mha了
启动命令:nohup /usr/local/bin/masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /data/logs/mha/app1/manager.log 2>&1 &
ip a s eth0
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 52:54:00:03:d9:43 brd ff:ff:ff:ff:ff:ff
inet 192.168.100.54/24 brd 192.168.100.255 scope global eth0
valid_lft forever preferred_lft forever
inet 192.168.100.55/24 brd 192.168.100.255 scope global secondary eth0:0
valid_lft forever preferred_lft forever
有两个ip,其中一个是vip55,查看从53从库的slave status切换备选主库成功:
mysql> show slave status\G
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: 192.168.100.54
Master_User: slave
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: binlog.000004
Read_Master_Log_Pos: 120
Relay_Log_File: localhost-relay-bin.000002
Relay_Log_Pos: 280
Relay_Master_Log_File: binlog.000004
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
查看/data/logs/mha/app1/manager.log
----- Failover Report -----
app1: MySQL Master failover 192.168.100.52(192.168.100.52:3306) to 192.168.100.54(192.168.100.54:3306) succeeded
Master 192.168.100.52(192.168.100.52:3306) is down!
Check MHA Manager logs at localhost.localdomain:/data/logs/mha/app1/manager.log for details.
Started automated(non-interactive) failover.
Invalidated master IP address on 192.168.100.52(192.168.100.52:3306)
The latest slave 192.168.100.53(192.168.100.53:3306) has all relay logs for recovery.
Selected 192.168.100.54(192.168.100.54:3306) as a new master.
192.168.100.54(192.168.100.54:3306): OK: Applying all logs succeeded.
192.168.100.54(192.168.100.54:3306): OK: Activated master IP address.
192.168.100.53(192.168.100.53:3306): This host has the latest relay log events.
Generating relay diff files from the latest slave succeeded.
192.168.100.53(192.168.100.53:3306): OK: Applying all logs succeeded. Slave started, replicating from 192.168.100.54(192.168.100.54:3306)
192.168.100.54(192.168.100.54:3306): Resetting slave info succeeded.
Master failover to 192.168.100.54(192.168.100.54:3306) completed successfully.
Atlas是由 Qihoo 360公司Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它在MySQL官方推出的MySQL-Proxy 0.8.2版本的基础上,修改了大量bug,添加了不少功能特性。目前该项目在360公司内部获得了普遍应用,不少MySQL业务已经接入了Atlas平台,天天承载的读写请求数达几十亿条。
Mysql-proxy(oracle)
Mysql-router(oracle)
Atlas (Qihoo 360)
Atlas-sharding (Qihoo 360)
Cobar(是阿里巴巴(B2B)部门开发)
Mycat(基于阿里开源的Cobar产品而研发)
TDDL Smart Client的方式(淘宝)
Oceanus(58同城数据库中间件)
OneProxy(原支付宝首席架构师楼方鑫开发 )
vitess(谷歌开发的数据库中间件)
Heisenberg(百度)
TSharding(蘑菇街白辉)
Xx-dbproxy(金山的Kingshard、当当网的sharding-jdbc )
我安装atlas到54从库的机器上
软件获取地址:https://github.com/Qihoo360/Atlas/releases
下载安装:
wget https://github.com/Qihoo360/Atlas/releases/download/2.2.1/Atlas-2.2.1.el6.x86_64.rpm
rpm -ivh Atlas-2.2.1.el6.x86_64.rpm
一、Atlas只能安装运行在64位的系统上
二、Centos 5.X安装 Atlas-XX.el5.x86_64.rpm,Centos 6.X安装Atlas-XX.el6.x86_64.rpm。
三、后端mysql版本应大于5.1,建议使用Mysql 5.6以上
Atlas (普通) : Atlas-2.2.1.el6.x86_64.rpm
Atlas (分表) : Atlas-sharding_1.0.1-el6.x86_64.rpm
[root@localhost conf]# rpm -ql Atlas-2.2.1
/usr/local/mysql-proxy/bin/VERSION
/usr/local/mysql-proxy/bin/encrypt //密码加密程序
/usr/local/mysql-proxy/bin/mysql-proxy //原版mysql-proxy
/usr/local/mysql-proxy/bin/mysql-proxyd //360重写后的程序
/usr/local/mysql-proxy/conf/test.cnf //配置文件
这里密码加密程序是atlas配置文件密码。主库授信数据库权限,不然经过atlas访问数据库获取不到数据。由于开了主从复制,因此从库会同步授信。
由于先前授信了mha用户admin。因此使用这个帐户,加密密码:
[root@localhost bin]# /usr/local/mysql-proxy/bin/encrypt mha_admin
2VJk4+gKBSiT6hL0DO30MA==
复制密码串到配置文件; /usr/local/mysql-proxy/conf/test.cnf
配置文件注释是中文
[mysql-proxy]
#带#号的为非必需的配置项目
#管理接口的用户名
admin-username=user
#管理接口的密码
admin-password=pwd
#Atlas后端链接的MySQL主库的IP和端口,可设置多项,用逗号分隔
proxy-backend-addresses=192.168.100.55:3306
#Atlas后端链接的MySQL从库的IP和端口,@后面的数字表明权重,用来做负载均衡,若省略则默认为1,可设置多项,用逗号分隔
proxy-read-only-backend-addresses=192.168.100.54:3306@2,192.168.100.53:3306@1
#用户名与其对应的加密过的MySQL密码,密码使用PREFIX/bin目录下的加密程序encrypt加密,下行的user1和user2为示例,将其替换为你的MySQL的用户名和加密密码!
pwds=admin:2VJk4+gKBSiT6hL0DO30MA==,atlas:F81glGa2FGwa8s/oWZlMvQ==
#设置Atlas的运行方式,设为true时为守护进程方式,设为false时为前台方式,通常开发调试时设为false,线上运行时设为true,true后面不能有空格。
daemon=true
#设置Atlas的运行方式,设为true时Atlas会启动两个进程,一个为monitor,一个为worker,monitor在worker意外退出后会自动将其重启,设为false时只有worker,没有monitor,通常开发调试时设为false,线上运行时设为true,true后面不能有空格。
keepalive=true
#工做线程数,对Atlas的性能有很大影响,可根据状况适当设置
event-threads=8
#日志级别,分为message、warning、critical、error、debug五个级别
log-level=message
#日志存放的路径
log-path=/data/logs/mysql-proxy/log
#SQL日志的开关,可设置为OFF、ON、REALTIME,OFF表明不记录SQL日志,ON表明记录SQL日志,REALTIME表明记录SQL日志且实时写入磁盘,默认为OFF
#sql-log = OFF
#慢日志输出设置。当设置了该参数时,则日志只输出执行时间超过sql-log-slow(单位:ms)的日志记录。不设置该参数则输出所有日志。
#sql-log-slow = 10
#实例名称,用于同一台机器上多个Atlas实例间的区分
#instance = test
#Atlas监听的工做接口IP和端口
proxy-address=0.0.0.0:1234
#Atlas监听的管理接口IP和端口
admin-address=0.0.0.0:2345
#分表设置,此例中person为库名,mt为表名,id为分表字段,3为子表数量,可设置多项,以逗号分隔,若不分表则不须要设置该项
#tables = person.mt.id.3
#默认字符集,设置该项后客户端再也不须要执行SET NAMES语句
charset=utf8
#容许链接Atlas的客户端的IP,能够是精确IP,也能够是IP段,以逗号分隔,若不设置该项则容许全部IP链接,不然只容许列表中的IP链接
client-ips=127.0.0.1,192.168.100.52
#Atlas前面挂接的LVS的物理网卡的IP(注意不是虚IP),如有LVS且设置了client-ips则此项必须设置,不然能够不设置
#lvs-ips = 192.168.1.1
首先,先确认主库vip已经绑定,因此我这里配置文件里的主库是55,并非实际的52。而后确认主从库无缺,MySQL启动正常,而且防火墙已经关闭。改完了配置文件,就能够启动atlas了/etc/init.d/atlasd start
[root@localhost conf]# ss -nptl |grep mysql-proxy
LISTEN 0 128 *:1234 *:* users:(("mysql-proxy",pid=2361,fd=10))
LISTEN 0 128 *:2345 *:* users:(("mysql-proxy",pid=2361,fd=9))
两个端口都是配置文件里指定的端口,其中1234是工做端口,负责对外提供数据库读写服务的,2345端口是mysql-proxy管理端口。
管理端口登陆的用户名默认:user,默认密码:pwd
mysql -h127.0.0.1 -uadmin -p -P2345
SELECT * FROM help;
+----------------------------+---------------------------------------------------------+
| command | description |
+----------------------------+---------------------------------------------------------+
| SELECT * FROM help | shows this help |
| SELECT * FROM backends | lists the backends and their state |
| SET OFFLINE $backend_id | offline backend server, $backend_id is backend_ndx's id |
| SET ONLINE $backend_id | online backend server, ... |
| ADD MASTER $backend | example: "add master 127.0.0.1:3306", ... |
| ADD SLAVE $backend | example: "add slave 127.0.0.1:3306", ... |
| REMOVE BACKEND $backend_id | example: "remove backend 1", ... |
| SELECT * FROM clients | lists the clients |
| ADD CLIENT $client | example: "add client 192.168.1.2", ... |
| REMOVE CLIENT $client | example: "remove client 192.168.1.2", ... |
| SELECT * FROM pwds | lists the pwds |
| ADD PWD $pwd | example: "add pwd user:raw_password", ... |
| ADD ENPWD $pwd | example: "add enpwd user:encrypted_password", ... |
| REMOVE PWD $pwd | example: "remove pwd user", ... |
| SAVE CONFIG | save the backends to config file |
| SELECT VERSION | display the version of Atlas |
+----------------------------+---------------------------------------------------------+
查看backend节点状态:SELECT * FROM backends;
+-------------+---------------------+-------+------+
| backend_ndx | address | state | type | +-------------+---------------------+-------+------+
| 1 | 192.168.100.55:3306 | up | rw |
| 2 | 192.168.100.54:3306 | up | ro |
| 3 | 192.168.100.53:3306 | up | ro | +-------------+---------------------+-------+------+
3 rows in set (0.00 sec)
关闭一个节点:set offlne 2;
+-------------+---------------------+---------+------+
| backend_ndx | address | state | type | +-------------+---------------------+---------+------+
| 2 | 192.168.100.54:3306 | offline | ro | +-------------+---------------------+---------+------+
移除一个节点:remove backend 2;
mysql> remove backend 2;
Empty set (0.00 sec)
mysql> SELECT * FROM backends; +-------------+---------------------+-------+------+
| backend_ndx | address | state | type | +-------------+---------------------+-------+------+
| 1 | 192.168.100.55:3306 | up | rw |
| 2 | 192.168.100.53:3306 | up | ro | +-------------+---------------------+-------+------+
保存配置:SAVE CONFIG;
添加一个节点:add slave 192.168.100.54:3306
mysql> SELECT * FROM backends; +-------------+---------------------+-------+------+
| backend_ndx | address | state | type | +-------------+---------------------+-------+------+
| 1 | 192.168.100.55:3306 | up | rw |
| 2 | 192.168.100.53:3306 | up | ro |
| 3 | 192.168.100.54:3306 | up | ro | +-------------+---------------------+-------+------+
3 rows in set (0.00 sec)
mysql -h127.0.0.1 -uadmin -p -P1234
show databases;
show variables like 'server_id';
+---------------+-------+
| Variable_name | Value | +---------------+-------+
| server_id | 3 | +---------------+-------+
再次查看show variables like 'server_id
+---------------+-------+
| Variable_name | Value | +---------------+-------+
| server_id | 2 | +---------------+-------+
负载均衡已经实现。
确保配置文件已经添加web端地址,可以远程访问atlas的工做端口。我这里web程序搭建在52上。因此在52上进行测试登陆atlas工做端口:
主机52:mysql -h192.168.100.54 -uadmin -p -P1234
若是不能链接请检查atlas配置文件配置的容许登陆地址和俩机器的防火墙状态。
接下来新建php进行测试:
确保主从复制打开的状况下,在主库新建数据库,数据表并插入数据。或找个数据表导入进去。
<?php $connect=mysqli_connect('192.168.100.54','admin','mha_admin','mha','1234'); $sql='select name from aty_menu'; mysqli_query($connect,'set names utf8'); $result=mysqli_query($connect,$sql); $arr=array();//定义空数组 while($row =mysqli_fetch_array($result)){ //var_dump($row); //array_push(要存入的数组,要存的值) array_push($arr,$row); } var_dump($arr);
而后打开浏览器进行访问,而后ctrl+f5进行刷新能够看到,分别读取两个数据库。而且并不会读取到主库,说明读写分离和只读负载均衡已经实现