Mha-Atlas-MySQL高可用方案实践

时间  2019-11-10
标签 mha atlas mysql 可用 方案 实践 栏目 MySQL 繁體版
原文   原文链接

一，mysql-mha环境准备

 

1.1 实验环境：

image_1cu39f2n51q18aved13190gop.png-33.9kB

 

1.2 软件包

1） mha管理节点安装包：php

mha4mysql-manager-0.56-0.el6.noarch.rpmnode

mha4mysql-manager-0.56.tar.gzmysql

2） mha node节点安装包：linux

mha4mysql-node-0.56-0.el6.noarch.rpmsql

mha4mysql-node-0.56.tar.gz数据库

3） mysql中间件：vim

Atlas-2.2.1.el6.x86_64.rpm服务器

4） mysql源码安装包微信

mysql-5.6.17-linux-glibc2.5-x86_64.tar网络

 

1.3 主机名映射

image_1cu39iv37sh4l561olq19d31v391m.png-27.3kB

 

1.4 关闭selinux和iptables

image_1cu39p4l71f2vbht1g081km3a923.png-18.7kB
image_1cu39q9icgi31pci1qb31o0vjfl2g.png-32.9kB

 

二，简介

 

2.1 做者简介

image_1cu39ra2b16r81a05al1vlv1tms2t.png-70.4kB 
姓名：松信嘉范 
MySQL/Linux专家 
2001年索尼公司入职 
2001年开始使用oracle 
2004年开始使用MySQL 
2006年9月-2010年8月MySQL从事顾问 
2010年-2012年DeNA 
2012年至今Facebook

 

2.2 软件简介

一、MHA（Master High Availability）目前在MySQL高可用方面是一个相对成熟的解决方案，是一套优秀的做为MySQL高可用性环境下故障切换和主从提高的高可用软件。在MySQL故障切换过程当中，MHA能作到0~30秒以内自动完成数据库的故障切换操做，而且在进行故障切换过程当中，MHA能最大程度上保证数据库的一致性，以达到真正意义上的高可用。

二、MHA由两部分组成：MHA Manager（管理节点）和MHA Node（数据节点）。MHA Manager能够独立部署在一台独立的机器上管理多个Master-Slave集群，也能够部署在一台Slave上。当Master出现故障时，它能够自动将最新数据的Slave提高为新的Master，而后将全部其余的Slave从新指向新的Master。整个故障转移过程对应程序是彻底透明的。

 

2.3 工做流程

一、复制主库binlog日志出来 
二、找出relaylog日志最全的从库 
三、将最全的relaylog日志在全部从库中同步（第一次数据同步） 
四、将以前最全的那个从库提高为主库 
五、将复制出来的binlog日志放到新提高为主库的从库里面 
六、其余全部从库从新指向新提高主库，继续主从复制

image_1cu3a0ro114q112m4o5r1m473ku3q.png-23.5kB

 

2.4 MHA架构图

InkedQQ截图20170903190825_LI.jpg-684kB

 

2.5 MHA工具介绍

MHA软件由两部分组成，Manager工具包和Node工具包，具体的说明以下： 
image_1cu3a68a61e661kqt1e9opl39bd4j.png-45.1kB

 

三，mysql环境准备

 

3.1 环境检查

微信图片_20181207111205.png-34.9kB

 

3.2 安装mysql

 

3.2.1 安装包准备

连接：https://pan.baidu.com/s/1aSh6hKFDcA6VAsXicbTSSQ 
提取码：2ynt

image_1cu3ap81d1tbffnq1bnhqae2gj7v.png-22.2kB

 

3.2.2 安装（3台都装）

 
  1. yum -y install ncurses-devel
  3. yum -y install libaio
  5. tar xf mysql-5.6.17-linux-glibc2.5-x86_64.tar.gz -C /usr/local/
  7. ln -s /usr/local/mysql-5.6.17-linux-glibc2.5-x86_64 /usr/local/mysql
  9. useradd mysql -s /sbin/nologin -M
  11. /usr/local/mysql/scripts/mysql_install_db --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data/
  13. /bin/cp /usr/local/mysql/support-files/my-default.cnf /etc/my.cnf
  15. /bin/cp /usr/local/mysql/support-files/mysql.server /etc/init.d/mysqld
  17. ln -s /usr/local/mysql/bin/* /usr/local/bin/
 

3.2.3 加入开机自启动并启动mysql (3台都加)

image_1cu3avvaen2i134314gt8sc1diq8c.png-29.1kB

 

3.2.4 配置密码 (3台都配)

 
  1. mysqladmin -uroot password '123123'
 

四，配置基于GTID的主从复制

 

4.1 先决条件

主库和从库都要开启binlog 
主库和从库server-id不一样 
要有主从复制用户

 

4.2 主库操做（MySQL-Master）

 

4.2.1 修改配置文件

 
  1. [root@MySQL-Master ~]# vim /etc/my.cnf
  2. [root@MySQL-Master ~]# cat /etc/my.cnf
  3. [client]
  4. socket = /usr/local/mysqld/data/mysql.sock
  5. [mysqld]
  6. lower_case_tabel_names = 1
  7. default-storage-engine = InnoDB
  8. port = 3306
  9. datadir = /usr/local/mysql/data
  10. character-set-server = utf8
  11. socket = /usr/local/mysql/data/mysql.sock
  13. log_bin = mysql-bin #开启binlog日志
  14. server_id = 1 #设置server_id
  15. innodb_buffer_pool_size = 200M
  16. slave-parallel-workers = 8
  17. thread_cache_size = 600
  18. back_log = 600
  19. slave_net_timeout = 60
  20. max_binlog_size = 512M
  21. key_buffer_size = 8M
  22. query_cache_size = 64M
  23. join_buffer_size = 2M
  24. sort_buffer_size = 2M
  25. query_cache_type = 1
  26. thread_stack = 192K

image_1cu3c0cravl41ga01sm4oug1ha99.png-20.1kB

 

4.2.2 登录MySQL删除没必要要的用户并建立主从复制用户

(1)删除没必要要的用户

 
  1. mysql>
  2. mysql> select user,host from mysql.user;
  3. +------+--------------+
  4. | user | host |
  5. +------+--------------+
  6. | root | 127.0.0.1 |
  7. | root | ::1 |
  8. | | localhost |
  9. | root | localhost |
  10. | | mysql-master |
  11. | root | mysql-master |
  12. +------+--------------+
  13. 6 rows in set (0.10 sec)
  15. mysql> drop user root@'127.0.0.1';
  16. Query OK, 0 rows affected (0.00 sec)
  18. mysql> drop user root@'::1';
  19. Query OK, 0 rows affected (0.00 sec)
  21. mysql> drop user ' '@'localhost';
  22. Query OK, 0 rows affected (0.00 sec)
  24. mysql> drop user ' '@'mysql-master';
  25. Query OK, 0 rows affected (0.00 sec)
  27. mysql> select user,host from mysql.user;
  28. +------+--------------+
  29. | user | host |
  30. +------+--------------+
  31. | root | localhost |
  32. | root | mysql-master |
  33. +------+--------------+
  34. 2 rows in set (0.00 sec)

(2)建立主从复制用户

image_1cu3ir7mp1nia9m7k59btn186j9.png-25.7kB

image_1cu3iscpt1pmjep01bde12rmo3sm.png-32.6kB

 

4.3 从库操做(MySQL-SlaveA和MySQL-SlaveB)

 

4.3.1 修改配置文件

MySQL-SlaveA 
image_1cu3cm8ef1cmm1m3q1m0c17p3t78aj.png-66.5kB 
image_1cu3cpf9g1aqd6841mpjh0kt2b0.png-24.7kB

MySQL-SlaveB 
image_1cu3ct38o3k0m6j1o56ihg116rbt.png-71.1kB 
image_1cu3cv6fn8aba241rj01vm0vk1ct.png-26.9kB

特别提示： 在以往若是是基于binlog日志的主从复制，则必需要记住主库的master状态信息。

image_1cu3g3100jseo1g12k2s6064rf7.png-27.1kB

可是在MySQL5.6版本里多了一个Gtid的功能，能够自动记录主从复制位置点的信息，并在日志中输出出来。

 

4.4 开启GTID

image_1cu3g5mfr1p0r1i82act1m3h9tfk.png-30kB

编辑mysql配置文件（主库从库都须要修改）

image_1cu3ggdlshen1p631trd191j1gvsge.png-78.5kB

三台机器都须要加上上图标注的三行代码

修改完配置文件之后重启动数据库

 
  1. /etc/init.d/mysqld restart

再次查看GTID状态 
image_1cu3gm8jefta1nv6s64141vl0ngr.png-31.2kB

再次提示： 
主库从库都必需要开启GTID，不然在作主从复制的时候就会报错.

 

4.5 配置主从复制(MySQL-SlaveA,MySQL-SlaveB)

image_1cu3h4guc3av1mdf1bac1g7oc5bh8.png-30.5kB

image_1cu3h86501vjnb77dismn8mohl.png-24.3kB

 

4.6 开启从库的主从复制功能（MySQL-SlaveA,MySQL-SlaveB）

 
  1. mysql>start slave; 开启主从复制

image_1cu3j0bf2jpqn8o2ueed1vko13.png-87.4kB

image_1cu3j3qsc1gb01mosid86761aon1g.png-88.6kB

两个从库MySQL-SlaveA和MySQL-SlaveB都执行以上步骤。

MySQL主从复制，启动slave时，出现下面报错： 
mysql> start slave; 
ERROR 1872 (HY000): Slave failed to initialize relay log info structure from the repository

解决办法：

微信图片_20181207173111.png-20.5kB

 

4.7 什么是GTID

一、GTID（Global Transaction）全局事务标识符：是一个惟一的标识符，它建立并与源服务器（主）上提交的每一个事务相关联。此标识符不只对其发起的服务器是惟一的，并且在给定复制设置中的全部服务器上都是惟一的。全部交易和全部GTID之间都有1对1的映射。

二、GTID其实是由UUID+TID组成的。其中UUID是一个MySQL实例的惟一标识。TID表明了该实例上已经提交的事务数量，而且随着事务提交单调递增。 
下面是一个GTID的具体形式：

3E11FA47-71CA-11E1-9E33-C80AA9429562:23
 

4.8 GTID的新特性

（1）支持多线程复制：事实上是针对每一个database开启相应的独立线程，即每一个库有一个单独的（sql thread）

（2）支持启用GTID，在配置主从复制，传统的方式里，你须要找到binlog和POS点，而后change master to 指向。在mysql5.6里，无须再知道binlog和POS点，只须要知道master的IP/端口/帐号密码便可，由于同步复制是自动的，MySQL经过内部机制GTID自动找点同步。

（3）基于Row复制只保存改变的列，大大节省磁盘空间，网络，内存等

（4）支持把Master和Slave的相关信息记录在Table中；原来是记录在文件里，如今则记录在表里，加强可用性

（5）支持延迟复制

 

4.9 开启方法

 
  1. #mysql配置文件：
  2. [mysqld]
  3. gtid_mode=ON
  4. enforce_gtid_consistency
  5. #查看
  6. show global variables like ‘%gtid%’；
 

4.10 从库设置（MySQL-SlaveA,MySQL-SlaveB）

image_1cu3jhj0p18tu11rhhcqabfemo1t.png-24.9kB

image_1cu3jjl6cgna2731tfi8mq7u42a.png-19.7kB

编辑配置文件/etc/my.cnf

image_1cu3jt5ns25f1lho197016ct76i2n.png-86kB

image_1cu3jv76d8cc1dv3p9hmgjg134.png-39.1kB

修改完毕后重启mysql服务：/etc/init.d/mysqld restart

 

五，部署MHA

 

5.1 环境准备（全部节点MySQL-Master,MySQL-SlaveA,MySQL-SlaveB）

mha4mysql-node-0.56-0.el6.noarch.rpm如下连接提取 
连接：https://pan.baidu.com/s/1S9FDyBjxEBXBF00aAFK4pw 
提取码：opja

 
  1. 光盘安装依赖包 yum -y install perl-DBD-MySQL
  3. 安装mha4mysql-node-0.56-0.el6.noarch.rpm
  4. rpm -ivh mha4mysql-node-0.56-0.el6.noarch.rpm

image_1cu3lfr408mt18211sfi15404cg4h.png-40.9kB

image_1cu3ljqg31ft0t3j1c126l51gar5e.png-21.8kB

 

5.2 部署管理节点（mha-manager）

 

5.2.1 在MySQL-SlaveB上部署管理节点

 
  1. #使用阿里云源+epel源
  2. wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-6.repo
  3. wget -O /etc/yum.repos.d/epel-6.repo http://mirrors.aliyun.com/repo/epel-6.repo
  5. #安装manager依赖包（须要公网源）
  6. yum -y install perl-Config-Tiny epel-release perl-Log-Dispatch perl-Parallel-ForkManager perl-Time-HiRes
  8. #安装manager包
  9. [root@MySQL-SlaveB rpm]# rpm -ivh mha4mysql-manager-0.56-0.el6.noarch.rpm
  10. Preparing... ########################################### [100%]
  11. 1:mha4mysql-manager ########################################### [100%]
 

5.2.2 编辑配置文件

 
  1. #建立配置文件目录
  2. mkdir -p /etc/mha
  4. #建立日志目录
  5. mkdir -p /var/log/mha/mha1
  7. #建立配置文件（默认没有）
  8. [root@MySQL-SlaveB ~]# cd /etc/mha/
  9. [root@MySQL-SlaveB mha]# ls
  10. [root@MySQL-SlaveB mha]# vim /etc/mha/mha1.cnf
  11. [root@MySQL-SlaveB mha]# cat /etc/mha/mha1.cnf
  12. [server default]
  13. manager_log=/var/log/mha/mha1/manager #manager管理日志存放路径
  14. manager_workdir=/var/log/mha/mha1 #manager管理日志的目录路径
  15. master_binlog_dir=/usr/local/mysql/data #binlog日志的存放路径
  16. user=mha #管理帐户
  17. password=123123 #管理帐户密码
  18. ping_interval=2 #存活检查的间隔时间
  19. repl_user=rep #主从复制的受权帐户
  20. repl_password=123123 #主从复制的受权帐户密码
  21. ssh_user=root #用于ssh链接的帐户
  22. [server1]
  23. hostname=192.168.200.159
  24. port=3306
  25. [server2]
  26. #candidate_master=1 #此条暂时注释掉（后面解释）
  27. #check_repl_delay=0 #此条暂时注释掉（后面解释）
  28. hostname=192.168.200.161
  29. port=3306
  30. [server3]
  31. hostname=192.168.200.160
  32. port=3306
  33. #**特别提示：**
  34. #以上配置文件内容里每行的最后不要留有空格，所以，不能复制的呦

特别说明： 
参数：candidate_master=1 
解释：设置为候选master，若是设置该参数之后，发生主从切换之后会将此从库提高为主库，即便这个主库不是集群中事件最新的slave 
参数：check_repl_delay=0 
解释：默认状况下若是一个slave落后master 100M的relay logs 的话，MHA将不会选择该slave做为一个新的master，由于对于这个slave的恢复须要花费很长时间，经过设置check_repl_delay=0,MHA触发切换在选择一个新的master的时候将会忽略复制延时，这个参数对于设置了candidate_master=1的主机很是有用，由于这个候选主在切换的过程当中必定是新的master

 

5.3 配置ssh信任（全部节点mysql-db01,mysql-db02,mysql-db03）

 
  1. #建立密钥对
  2. [root@MySQL-SlaveB ~]# ssh-keygen -t dsa -P "" -f ~/.ssh/id_dsa >/dev/null 2>&1
  3. #发送MySQL-SlaveB公钥，包括本身
  4. [root@MySQL-SlaveB ~]# ssh-copy-id -i /root/.ssh/id_dsa.pub root@192.168.200.159
  5. [root@MySQL-SlaveB ~]# ssh-copy-id -i /root/.ssh/id_dsa.pub root@192.168.200.161
  6. [root@MySQL-SlaveB ~]# ssh-copy-id -i /root/.ssh/id_dsa.pub root@192.168.200.160
  8. #发送MySQL-SlaveA公钥，包括本身
  9. [root@MySQL-SlaveA ~]# ssh-copy-id -i /root/.ssh/id_dsa.pub root@192.168.200.159
  10. [root@MySQL-SlaveA ~]# ssh-copy-id -i /root/.ssh/id_dsa.pub root@192.168.200.161
  11. [root@MySQL-SlaveA ~]# ssh-copy-id -i /root/.ssh/id_dsa.pub root@192.168.200.160
  13. #发送MySQL-Master公钥，包括本身
  14. [root@MySQL-Master ~]# ssh-copy-id -i /root/.ssh/id_dsa.pub root@192.168.200.159
  15. [root@MySQL-Master ~]# ssh-copy-id -i /root/.ssh/id_dsa.pub root@192.168.200.160
  16. [root@MySQL-Master ~]# ssh-copy-id -i /root/.ssh/id_dsa.pub root@192.168.200.161
 

5.4 启动测试

 

5.4.1 ssh检查检测

 
  1. [root@MySQL-SlaveB ~]# masterha_check_ssh --conf=/etc/mha/mha1.cnf #ssh检查命令

微信图片_20181207145748.png-37.3kB

 

5.4.2 主从复制检测

[root@MySQL-SlaveB ~]# masterha_check_repl --conf=/etc/mha/mha1.cnf

（1）错误的主从复制检测

image_1cu3nhpt9vbr1at01pti1c111svb7s.png-61.3kB

所以在MySQL-SlaveA和MySQL-SlaveB上添加主从复制的用户便可。 
grant replication slave on . to rep@'192.168.200.%' identified by '123123';

image_1cu45ad2j10m2gs21cek1egn1dps1h.png-39.7kB

 

5.5 启动MHA

 
  1. [root@mysql-slaveB ~]# nohup masterha_manager --conf=/etc/mha/mha1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/mha1/manager.log 2>&1 &
  2. [1] 3408
  3. [root@mysql-slaveB ~]# ps -ef | grep perl | grep -v grep
  4. root 3408 1272 1 03:03 pts/0 00:00:00 perl /usr/bin/masterha_manager --conf=/etc/mha/mha1.cnf --remove_dead_master_conf --ignore_last_failover

image_1cu45dem0cv5pcl1e5r17ic1vrp1u.png-54.2kB

 

5.6 进行mha自动切换master的测试

初始状态： 
image_1cu46e88s14ltc01jaue9r1sep2b.png-15.9kB

（1）登录mysql-db02(192.168.0.53)查看信息状态 
image_1cu46rg6c1rd518oj11ca144m13sv2o.png-52.9kB

（2）停掉mysql-db01(192.168.0.51)上的MySQL服务

 
  1. [root@MySQL-Master ~]# /etc/init.d/mysqld stop
  2. Shutting down MySQL..... SUCCESS!

image_1cu46ubao5uchoj1gll10e11f3u35.png-15.3kB

（3）查看slaveB上的MySQL从库同步状态

image_1cu4799kbd06jo1revtncaa74f.png-61.5kB

（4）查看mysql-db02上的MySQL，主库同步状态。

image_1cu47bdbrrqq14u3d6quiik1k4s.png-34.3kB

（5）查看mysql-db03上的mha进程状态

image_1cu47cv4hccq120v17n1kcl1jb259.png-15.9kB

（6）查看mha配置文件信息

image_1cu47gdcf1k7j1869heq1iv78775m.png-49.1kB

说明： 
看成为主库的mysql-db01上的MySQL宕机之后，mha经过检测发现mysql-db01宕机，那么会将binlog日志最全的从库马上提高为主库，而其余的从库会指向新的主库进行再次同步。

查询mha日志路径 /var/log/mha/mha1/manager

image_1cu47spk91771mfclkg1s8a1b4963.png-59.7kB

 

5.7 进行mha的故障还原测试

因为mysql-Master的MySQL服务宕机，所以mha将mysql-SlaveA提高为了主库。所以，咱们须要将宕机的mysql-Master的MySQL服务启动，而后做为主库mysql-SlaveA的从库。

初始状态： 
image_1cu47vubu1kp8ah31pp11a1itrv6g.png-15.4kB

（1）将故障宕机的mysql-Master的MySQL服务启动并受权进行从同步

 
  1. /etc/init.d/mysqld start #启动Master的MySQL服务
  3. #进入mysql受权进行从同步
  4. mysql> CHANGE MASTER TO MASTER_HOST='192.168.200.161', MASTER_PORT=3306, MASTER_AUTO_POSITION=1, MASTER_USER='rep', MASTER_PASSWORD='123123';

image_1cu48bvbj1v0rst1g6hhpq1avn6t.png-56.5kB

（2）将mha配置文件里缺失的部分补全

image_1cu48igmo1a4ok2ev619nbgjp7a.png-44kB

（3）启动mha进程

image_1cu4b30vg1laena71e9g4lnhsk7n.png-65.9kB

注：若是发现从库没有mha帐户须要将主库的mha帐户删除后重新受权一个，这样从库就自动复制过来了。通常状况下不会这样，我可能出现bug了！！！

（4）停掉mysql-slaveA上的MySQL服务

image_1cu4b8osk1q6tf0ble1gph162i84.png-15.2kB

（5）查看mysql-slaveB上的主从同步状态：

image_1cu4bb05e7ik4vl16cter0cvh8h.png-54.4kB

（6）启动mysql-slaveA上的MySQL服务

 
  1. [root@MySQL-SlaveA ~]# /etc/init.d/mysqld start
  2. Starting MySQL.. SUCCESS!
  3. [root@MySQL-SlaveA ~]# mysql -uroot -p123123
  4. mysql> CHANGE MASTER TO MASTER_HOST='192.168.200.159', MASTER_PORT=3306, MASTER_AUTO_POSITION=1, MASTER_USER='rep', MASTER_PASSWORD='123123';
  5. mysql> start slave;
  6. mysql> show slave status\G

image_1cu4bhj9d1f321v8n111317la4uk8u.png-79.2kB

（7）再次补全mha配置文件后，启动mha进程

image_1cu4bld9a2b413igjr3ldhjf59b.png-47.5kB
注：此次上述没有自动复制mha帐户的问题没有发生，可能真的遇到了bug！！！

六，MHA参数验证明践

image_1cu4bpl9f9nl6341ndfq2kjs3a5.png-41.4kB

image_1cu4c066qtrrjmn4df12731q36ai.png-55.3kB

 

测试

image_1cu4c3a3nvt9o661n1i1ak81ubhav.png-15.7kB

image_1cu4c5s3n1ij3i281tktfu61jncbc.png-18.2kB

image_1cu4c8l8u12pdkaf1c1se161d6fbp.png-50.6kB

综上实验，当slaveB新加了参数验证，主库再次宕机的话，新的主库变成了本身。

相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程