mysql服务器的HA集群之corosync+drbd+pacemaker实现-下篇

时间 2020-01-31

标签 mysql 服务器集群 corosync+drbd+pacemaker corosync drbd pacemaker 实现下篇栏目 MySQL 繁體版

原文原文链接

案例应用：红帽企业群集和存储管理之node

mysql服务器的HA集群之corosync+drbd+pacemaker实现-下篇mysql

上篇地址：web

http://xjzhujunjie.blog.51cto.com/3582724/886317 sql

接上篇！！！数据库

五．群集管理

5.1 配置群集的工做属性 bootstrap

corosync 默认启用了stonith，而当前集群并无相应的stonith设备，所以此默认配置目前尚不可用，这能够经过以下命令先禁用stonith：

[root@node1 corosync]# cd

[root@node1 ~]# crm configure property stonith-enabled=false服务器

[root@node1 ~]#

[root@node2 corosync]# cd

[root@node2 ~]# crm configure property stonith-enabled=falsessh

[root@node2 ~]#

对于双节点的集群来讲，咱们要配置此选项来忽略quorum，即这时候票数不起做用，一个节点也能正常运行：

[root@node1 ~]#

[root@node1 ~]# crm configure property no-quorum-policy=ignoreide

[root@node1 ~]#

[root@node2 ~]#

[root@node2 ~]# crm configure property no-quorum-policy=ignoresqlserver

[root@node2 ~]#

定义资源的粘性值，使资源不能再节点之间随意的切换，由于这样是很是浪费系统的资源的。

资源黏性值范围及其做用：

0 ：这是默认选项。资源放置在系统中的最适合位置。这意味着当负载能力“较好”或较差的节点变得可用时才转移资源。此选项的做用基本等同于自动故障回复，只是资源可能会转移到非以前活动的节点上；

大于0：资源更愿意留在当前位置，可是若是有更合适的节点可用时会移动。值越高表示资源越愿意留在当前位置；

小于0：资源更愿意移离当前位置。绝对值越高表示资源越愿意离开当前位置；

INFINITY：若是不是因节点不适合运行资源（节点关机、节点待机、达到migration-threshold 或配置更改）而强制资源转移，资源老是留在当前位置。此选项的做用几乎等同于彻底禁用自动故障回复；

-INFINITY ：资源老是移离当前位置；

咱们这里能够经过如下方式为资源指定默认黏性值：

[root@node1 ~]#

[root@node1 ~]# crm configure rsc_defaults resource-stickiness=100

[root@node1 ~]#

[root@node2 ~]#

[root@node2 ~]# crm configure rsc_defaults resource-stickiness=100

[root@node2 ~]#

5.2 定义群集服务及资源

5.2.1 改变drbd的状态

[root@node2 ~]# drbd-overview

0:mysql Connected Primary/Secondary UpToDate/UpToDate C r----

[root@node2 ~]# drbdadm secondary mysql

[root@node2 ~]# drbd-overview

0:mysql Connected Secondary/Secondary UpToDate/UpToDate C r----

[root@node2 ~]#

[root@node1 ~]# drbd-overview

0:mysql Connected Secondary/Secondary UpToDate/UpToDate C r----

[root@node1 ~]# drbdadm primary mysql

[root@node1 ~]# drbd-overview

0:mysql Connected Primary/Secondary UpToDate/UpToDate C r----

[root@node1 ~]#

5.2.2 配置drbd为群集资源

1 、查看当前集群的配置信息，确保已经配置全局属性参数为两节点集群所适用

[root@node1 ~]# crm configure show

node node1.junjie.com

node node2.junjie.com

property $id="cib-bootstrap-options" \

dc-version="1.1.5-1.1.el5-01e86afaaa6d4a8c4836f68df80ababd6ca3902f" \

cluster-infrastructure="openais" \

expected-quorum-votes="2" \

stonith-enabled="false" \

no-quorum-policy="ignore"

rsc_defaults $id="rsc-options" \

resource-stickiness="100"

[root@node1 ~]#

2、将已经配置好的DRBD设备/dev/drbd0定义为集群服务；

[root@node1 ~]# service drbd stop

Stopping all DRBD resources: .

[root@node1 ~]# chkconfig drbd off

[root@node1 ~]# ssh node2 'service drbd stop'

Stopping all DRBD resources: .

[root@node1 ~]# ssh node2 'chkconfig drbd off'

[root@node1 ~]# drbd-overview

drbd not loaded

[root@node1 ~]# ssh node2 'drbd-overview'

drbd not loaded

[root@node1 ~]#

3、配置drbd为集群资源：

提供drbd的RA目前由OCF归类为linbit，其路径为/usr/lib/ocf/resource.d/linbit/drbd。咱们可使用以下命令来查看此RA及RA的meta信息：

[root@node1 ~]# crm ra classes

heartbeat

lsb

ocf / heartbeat linbit pacemaker

stonith

[root@node1 ~]# crm ra list ocf linbit

drbd

[root@node1 ~]#

4、查看drbd的资源代理的相关信息：

[root@node1 ~]# crm ra info ocf:linbit:drbd

This resource agent manages a DRBD resource

as a master/slave resource. DRBD is a shared-nothing replicated storage

device. (ocf:linbit:drbd)

Master/Slave OCF Resource Agent for DRBD

Parameters (* denotes required, [] the default):

drbd_resource* (string): drbd resource name

The name of the drbd resource from the drbd.conf file.

drbdconf (string, [/etc/drbd.conf]): Path to drbd.conf

Full path to the drbd.conf file.

Operations' defaults (advisory minimum):

start timeout=240

promote timeout=90

demote timeout=90

notify timeout=90

stop timeout=100

monitor_Slave interval=20 timeout=20 start-delay=1m

monitor_Master interval=10 timeout=20 start-delay=1m

[root@node1 ~]#

5、drbd须要同时运行在两个节点上，但只能有一个节点（primary/secondary模型）是Master，而另外一个节点为Slave；所以，它是一种比较特殊的集群资源，其资源类型为多状态（Multi-state）clone类型，即主机节点有Master和Slave之分，且要求服务刚启动时两个节点都处于slave状态。

[root@node1 ~]# crm

crm(live)# configure

crm(live)configure# primitive mysqldrbd ocf:heartbeat:drbd params drbd_resource="mysql" op monitor role="Master" interval="30s" op monitor role="Slave" interval="31s" op start timeout="240s" op stop timeout="100s"

crm(live)configure# ms MS_mysqldrbd mysqldrbd meta master-max=1 master-node-max=1 clone-max=2 clone-node-max=1 notify="true"

crm(live)configure# show mysqldrbd

primitive mysqldrbd ocf:heartbeat:drbd \

params drbd_resource="mysql" \

op monitor interval="30s" role="Master" \

op monitor interval="31s" role="Slave" \

op start interval="0" timeout="240s" \

op stop interval="0" timeout="100s"

crm(live)configure# show MS_mysqldrbd

ms MS_mysqldrbd mysqldrbd \

meta master-max="1" master-node-max="1" clone-max="2" clone-node-max="1" notify="true"

肯定无误后，提交：

crm(live)configure# verify

crm(live)configure# commit

crm(live)configure# exit

bye

[root@node1 ~]#

6、查看当前集群运行状态：

[root@node1 ~]# crm status

============

Last updated: Tue Feb 7 23:51:09 2012

Stack: openais

Current DC: node1.junjie.com - partition with quorum

Version: 1.1.5-1.1.el5-01e86afaaa6d4a8c4836f68df80ababd6ca3902f

2 Nodes configured, 2 expected votes

1 Resources configured.

============

Online: [ node2.junjie.com node1.junjie.com ]

Master/Slave Set: MS_mysqldrbd [mysqldrbd]

Masters: [ node1.junjie.com ]

Slaves: [ node2.junjie.com ]

[root@node1 ~]#

由上面的信息能够看出此时的drbd服务的Primary节点为node1.junjie.com，Secondary节点为node2.junjie.com。固然，也能够在node1上使用以下命令验正当前主机是否已经成为mysql资源的Primary节点：

[root@node1 ~]# drbdadm role mysql

Primary/Secondary

[root@node1 ~]# drbd-overview

0:mysql Connected Primary/Secondary UpToDate/UpToDate C r----

[root@node1 ~]#

咱们实现将drbd设置自动挂载至/mysqldata目录。此外，此自动挂载的集群资源须要运行于drbd服务的Master节点上，而且只能在drbd服务将某节点设置为Primary之后方可启动。

确保两个节点上的设备已经卸载：

[root@node1 ~]# umount /dev/drbd0

[root@node2 ~]# umount /dev/drbd0

如下还在node1上操做：

[root@node1 ~]# crm

crm(live)# configure

crm(live)configure# primitive MysqlFS ocf:heartbeat:Filesystem params device="/dev/drbd0" directory="/mnt/mysqldata" fstype="ext3" op start timeout=60s op stop timeout=60s

crm(live)configure#

crm(live)configure# show changed

primitive MysqlFS ocf:heartbeat:Filesystem \

params device="/dev/drbd0" directory="/mnt/mysqldata" fstype="ext3" \

op start interval="0" timeout="60s" \

op stop interval="0" timeout="60s"

crm(live)configure#

crm(live)configure# commit

crm(live)configure# exit

bye

[root@node1 ~]#

7、mysql资源的定义（node1上操做）

先为mysql集群建立一个IP地址资源，经过集群提供服务时使用，这个地址就是客户端访问mysql服务器使用的ip地址；

[root@node1 ~]# crm configure primitive myip ocf:heartbeat:IPaddr params ip=192.168.101.88

[root@node1 ~]# crm configure primitive mysqlserver lsb:mysqld

[root@node1 ~]# crm status

============

Last updated: Wed Feb 8 00:01:23 2012

Stack: openais

Current DC: node1.junjie.com - partition with quorum

Version: 1.1.5-1.1.el5-01e86afaaa6d4a8c4836f68df80ababd6ca3902f

2 Nodes configured, 2 expected votes

4 Resources configured.

============

Online: [ node2.junjie.com node1.junjie.com ]

Master/Slave Set: MS_mysqldrbd [mysqldrbd]

Masters: [ node1.junjie.com ]

Slaves: [ node2.junjie.com ]

MysqlFS (ocf::heartbeat:Filesystem): Started node1.junjie.com

myip (ocf::heartbeat:IPaddr): Started node2.junjie.com

mysqlserver (lsb:mysqld): Started node1.junjie.com

[root@node1 ~]#

8、配置资源的各类约束：

集群拥有全部必需资源，但它可能还没法进行正确处理。资源约束则用以指定在哪些群集节点上运行资源，以何种顺序装载资源，以及特定资源依赖于哪些其它资源。pacemaker共给咱们提供了三种资源约束方法：

1）Resource Location（资源位置）：定义资源能够、不能够或尽量在哪些节点上运行

2）Resource Collocation（资源排列）：排列约束用以定义集群资源能够或不能够在某个节点上同时运行

3）Resource Order（资源顺序）：顺序约束定义集群资源在节点上启动的顺序。

定义约束时，还须要指定分数。各类分数是集群工做方式的重要组成部分。其实，从迁移资源到决定在已降级集群中中止哪些资源的整个过程是经过以某种方式修改分数来实现的。分数按每一个资源来计算，资源分数为负的任何节点都没法运行该资源。在计算出资源分数后，集群选择分数最高的节点。INFINITY（无穷大）目前定义为 1,000,000。加减无穷大遵循如下3个基本规则：

1）任何值 + 无穷大 = 无穷大

2）任何值 - 无穷大 = -无穷大

3）无穷大 - 无穷大 = -无穷大

定义资源约束时，也能够指定每一个约束的分数。分数表示指派给此资源约束的值。分数较高的约束先应用，分数较低的约束后应用。经过使用不一样的分数为既定资源建立更多位置约束，能够指定资源要故障转移至的目标节点的顺序。

咱们要定义以下的约束：

[root@node1 ~]# crm

crm(live)# configure

crm(live)configure# colocation MysqlFS_with_mysqldrbd inf: MysqlFS MS_mysqldrbd:Master myip mysqlserver

crm(live)configure# order MysqlFS_after_mysqldrbd inf: MS_mysqldrbd:promote MysqlFS:start

crm(live)configure# order myip_after_MysqlFS mandatory: MysqlFS myip

crm(live)configure# order mysqlserver_after_myip mandatory: myip mysqlserver

crm(live)configure# show changed

colocation MysqlFS_with_mysqldrbd inf: MysqlFS MS_mysqldrbd:Master myip mysqlserver

order MysqlFS_after_mysqldrbd inf: MS_mysqldrbd:promote MysqlFS:start

order myip_after_MysqlFS inf: MysqlFS myip

order mysqlserver_after_myip inf: myip mysqlserver

crm(live)configure# verify

crm(live)configure# commit

crm(live)configure# exit

bye

[root@node1 ~]#

9.查看配置信息和状态，并测试：

[root@node1 ~]# crm configure show

node node1.junjie.com

node node2.junjie.com

primitive MysqlFS ocf:heartbeat:Filesystem \

params device="/dev/drbd0" directory="/mnt/mysqldata" fstype="ext3" \

op start interval="0" timeout="60s" \

op stop interval="0" timeout="60s"

primitive myip ocf:heartbeat:IPaddr \

params ip="192.168.101.88"

primitive mysqldrbd ocf:heartbeat:drbd \

params drbd_resource="mysql" \

op monitor interval="30s" role="Master" \

op monitor interval="31s" role="Slave" \

op start interval="0" timeout="240s" \

op stop interval="0" timeout="100s"

primitive mysqlserver lsb:mysqld

ms MS_mysqldrbd mysqldrbd \

meta master-max="1" master-node-max="1" clone-max="2" clone-node-max="1" notify="true"

colocation MysqlFS_with_mysqldrbd inf: MysqlFS MS_mysqldrbd:Master myip mysqlserver

order MysqlFS_after_mysqldrbd inf: MS_mysqldrbd:promote MysqlFS:start

order myip_after_MysqlFS inf: MysqlFS myip

order mysqlserver_after_myip inf: myip mysqlserver

property $id="cib-bootstrap-options" \

dc-version="1.1.5-1.1.el5-01e86afaaa6d4a8c4836f68df80ababd6ca3902f" \

cluster-infrastructure="openais" \

expected-quorum-votes="2" \

stonith-enabled="false" \

no-quorum-policy="ignore"

rsc_defaults $id="rsc-options" \

resource-stickiness="100"

[root@node1 ~]#

[root@node1 ~]# crm status

============

Last updated: Wed Feb 8 00:08:06 2012

Stack: openais

Current DC: node1.junjie.com - partition with quorum

Version: 1.1.5-1.1.el5-01e86afaaa6d4a8c4836f68df80ababd6ca3902f

2 Nodes configured, 2 expected votes

4 Resources configured.

============

Online: [ node2.junjie.com node1.junjie.com ]

Master/Slave Set: MS_mysqldrbd [mysqldrbd]

Masters: [ node1.junjie.com ]

Slaves: [ node2.junjie.com ]

MysqlFS (ocf::heartbeat:Filesystem): Started node1.junjie.com

myip (ocf::heartbeat:IPaddr): Started node1.junjie.com

mysqlserver (lsb:mysqld): Started node1.junjie.com

[root@node1 ~]#

可见，服务如今在node1上正常运行：

在node1上的操做，查看群集的运行状态：

[root@node1 ~]# service mysqld status

MySQL running (8720) [ OK ]

[root@node1 ~]# mount |grep drbd

/dev/drbd0 on /mnt/mysqldata type ext3 (rw)

[root@node1 ~]#

[root@node1 ~]# ll /mnt/mysqldata/

total 24

drwxr-xr-x 5 mysql mysql 4096 Feb 8 00:05 data

-rw-r--r-- 1 root root 4 Feb 7 21:28 f1

-rw-r--r-- 1 root root 0 Feb 7 21:28 f2

drwx------ 2 root root 16384 Feb 7 21:26 lost+found

[root@node1 ~]# ifconfig eth0:0

eth0:0 Link encap:Ethernet HWaddr 00:0C:29:AE:83:D1

inet addr:192.168.101.88 Bcast:192.168.101.255 Mask:255.255.255.0

UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1

Interrupt:67 Base address:0x2000

[root@node1 ~]#

在node2上的操做，查看群集的运行状态：

[root@node2 ~]# service mysqld status

MySQL is not running [FAILED]

[root@node2 ~]# mount |grep drbd

[root@node2 ~]# ll /mnt/mysqldata/

total 0

[root@node2 ~]# ifconfig eth0:0

eth0:0 Link encap:Ethernet HWaddr 00:0C:29:D1:D4:32

UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1

Interrupt:67 Base address:0x2000

[root@node2 ~]#

10.继续测试群集：

继续测试：

在node1上操做，让node1下线：

[root@node1 ~]# crm status

============

Last updated: Wed Feb 8 00:16:25 2012

Stack: openais

Current DC: node1.junjie.com - partition with quorum

Version: 1.1.5-1.1.el5-01e86afaaa6d4a8c4836f68df80ababd6ca3902f

2 Nodes configured, 2 expected votes

4 Resources configured.

============

Node node1.junjie.com: standby

Online: [ node2.junjie.com ]

Master/Slave Set: MS_mysqldrbd [mysqldrbd]

Masters: [ node2.junjie.com ]

Stopped: [ mysqldrbd:0 ]

MysqlFS (ocf::heartbeat:Filesystem): Started node2.junjie.com

myip (ocf::heartbeat:IPaddr): Started node2.junjie.com

mysqlserver (lsb:mysqld): Started node2.junjie.com

[root@node1 ~]#

在node2上的操做，查看群集的运行状态：

可见咱们的资源已经都切换到了node2上：

[root@node2 ~]# service mysqld status

MySQL running (9093) [ OK ]

[root@node2 ~]# mount |grep drbd

/dev/drbd0 on /mnt/mysqldata type ext3 (rw)

[root@node2 ~]# ll /mnt/mysqldata/

total 24

drwxr-xr-x 5 mysql mysql 4096 Feb 8 00:16 data

-rw-r--r-- 1 root root 4 Feb 7 21:28 f1

-rw-r--r-- 1 root root 0 Feb 7 21:28 f2

drwx------ 2 root root 16384 Feb 7 21:26 lost+found

[root@node2 ~]# ifconfig eth0:0

eth0:0 Link encap:Ethernet HWaddr 00:0C:29:D1:D4:32

inet addr:192.168.101.88 Bcast:192.168.101.255 Mask:255.255.255.0

UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1

Interrupt:67 Base address:0x2000

[root@node2 ~]#

如今一切正常，咱们能够验证mysql服务是否能被正常访问：

首先，在node2上面创建一个用户user1，密码：123456.

咱们定义的是经过VIP:192.168.101.88来访问mysql服务，如今node2上创建一个可让某个网段主机能访问的帐户(这个内容会同步drbd设备同步到node1上)：

[root@node2 ~]# mysql

...

mysql> grant all on *.* to user1@'192.168.%.%' identified by '123456';

Query OK, 0 rows affected (0.01 sec)

mysql> flush privileges;

Query OK, 0 rows affected (0.00 sec)

mysql> exit

Bye

[root@node2 ~]#

客户端访问测试

192.168．101.100客户Ping测试192.168.101.88

192.168．101.100客户访问mysql数据库192.168.101.88（成功访问）

至此：使用corosync+drbd+pacemaker实现mysql服务器的高可用集群成功完成！.

《完》

--xjzhujunjie

--2012/06/03

上篇地址：

http://xjzhujunjie.blog.51cto.com/3582724/886317

接上篇！！！