drbd+keepalived nfs高可用方案实践

时间  2020-01-05
标签 drbd+keepalived drbd keepalived nfs 可用 方案 实践 栏目 负载均衡 繁體版
原文   原文链接

实验环境

系统CentOS 6.5 X64
Ip：172.16.25.162  172.16.25.163
epel源
每台主机有/dev/sdb1: 1073 MB挂载点/test供drbd使用
先升级nfs先关组件：
    yum updatenfs-utilsnfs-utils-lib nfs4-acl-tools
    yum updaterpcbind

1、安装配置

安装配置drbd：api

[root@master~]#wget http://oss.linbit.com/drbd/8.3/drbd-8.3.16.tar.gz
[root@master~]#tar zxvf drbd-8.3.16.tar.gz
[root@master~]#./configure --prefix=/usr/local/drbd--with-km     #--with-km是启用内核模块
[root@master~]#make KDIR=/usr/src/kernels/2.6.32-431.el6.x86_64   #KDIR随系统而变
[root@master~]#make install
[root@master~]#mkdir -p /usr/local/drbd/var/run/drbd
[root@master~]#cp /usr/local/drbd/etc/rc.d/init.d/drbd  /etc/rc.d/init.d/
[root@master~]#chkconfig --add drbd; chkconfigdrbd on
[root@master~]#cp drbd/drbd.ko/lib/modules/2.6.32-431.el6.x86_64/kernel/lib/
[root@master~]#modprobe drbd
[root@master~]#lsmod |grepdrbd      #验证drbd模块是否加载成功

  1. 准备底层存储设备：网络

    一块硬盘、软raid、LVM逻辑卷、甚至另外一个drbd设备（drbd叠加）并发

  2. 准备网络配置：框架

    推荐（不是必须）在专用的、直连的、千兆的网络上运行drbd。若是经过交换机运行drbd，建议设置一个热备的交换机同时the Linux bonding driver (in active-backup mode) is recommendedide

    注意三点：测试

    1) Our two DRBD hosts each have a currently unused network interface, eth1,with IP addresses 10.1.1.31 and 10.1.1.32 assigned to it, respectively.
    2) No other services are using TCP ports 7788 through 7799 on eitherhost.
    3) The local firewall configuration allows both inbound and outboundTCP connections between the ui

  3. 配置drbd3d

    drbd全部配置均在/etc/drbd.conf，默认的，该配置文件只是一个‘框架’，有以下两行
    include"/etc/drbd.d/global_common.conf";
    include"/etc/drbd.d/*.res";日志

    /etc/drbd.d/global_common.conf包含drbdglobal和common段的设置，*.res文件每一个包含一个resource段的配置。code

    注意：确保每一个节点上drbd的配置文件保持一致

    实验环境配置文件

    global {
    usage-count yes;
}
common {
    protocol C;       # A 数据一旦写入磁盘并发送到网络中就认为完成了写入操做                
                      # B 收到接收确认就认为完成了写入操做
                      # C 收到写入确认就认为完成了写入操做
}
resource r0 {
    on master {       #master为主机名，配置文件里必须和uname–n输出的一致，不一致会致使no resources defined!
    device   /dev/drbd1;
    disk     /dev/sdb1;address  172.16.25.162:7789;
    meta-disk internal;}on slave {device   /dev/drbd1;
    disk     /dev/sdb1;
    address  172.16.25.163:7789;
    meta-disk internal;
    }
}

  4. 初始化resource

    建立设备元数据，该步骤只在设备初始化时执行一次，在两台server分别执行
    [root@master~]#drbdadm create-md r0(resource名称)

    一台报错：drbdadm create-md r0: exited with code 40
    解决方法：dd if=/dev/zero of=/dev/sdb1 bs=1M count=10（count数量不限，主要是为了清除/dev/sdb1上的分区信息）。成功截图以下
    image

  5. 启动drbd

    [root@master~]#/etc/init.d/drbd start

    刚启动时，两台机器上drbd状态均为secondary

    在drbd主上执行drbdsetup/dev/drbd0 primary -o，将drbd状态改成primary（无此步，会致使格式化/dev/drbd0时报错）。执行过此命令之后，能够经过drbdadmprimary/secondary r0来切换主被动状态

  6. 挂载drbd设备

    如今能够把主机上的DRBD设备挂载到一个目录上进行使用.备机的DRBD设备没法被挂载,由于它是用来接收主机数据的,由DRBD负责操做.

    在drbd primary节点（不然格式化会报错Wrong medium type while trying to determine filesystem size）

    [root@master ~]#mkfs.ext4/dev/drbd1

    [root@master~]#mount /dev/drbd1 /test

    2、使用管理

  7. 状态查看

    ~]# drbd-overview ` 
或者
~]# cat /proc/drbd
version: 8.3.16 (api:88/proto:86-97)

GIT-hash: a798fa7e274428a357657fb52f0ecf40192c1985 build byroot@master, 2015-03-29 15:25:43
   1: cs:Connectedro:Secondary/Secondary ds:Inconsistent/Inconsistent Cr-----
    ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0ua:0 ap:0 ep:1 wo:f oos:1044124

    cs: connect state ro:表示角色信息 ds: 磁盘状态信息Inconsistent/UpToDatens/nr:网络发送/接收的数据包信息dw/dr:设备读写信息

    “/proc/drbd”中显示了drbd当前的状态。第一行的Secondary/Secondary 表示两台主机的状态,都是”备机”状态.ds是磁盘状态,都是”不一致”状态. 这是因为DRBD没法判断哪一方为主机,以哪一方的磁盘数据做为标准数据.因此,咱们须要初始化一个主机。在master server执行：

    [root@master ~]#drbdsetup /dev/drbd1 primary –o
或者
[root@master ~]#drbdadm primary r0

    再看两台的/proc/drbd
    image

    image
    倒数第二行能够看到正在从主向备同步数据

    日志变化(/var/logs/message)

    主机：
    image
    备机：
    image

  8. DRBD的主备机切换

    有时,你须要将DRBD的主备机互换一下.能够执行下面的操做:
    在主机上,先要卸载掉DRBD设备.

    [root@master /]# umount /mnt/drbd1

    将主机降级为”备机”

    [root@master /]# drbdadm secondary r0
[root@master /]# cat /proc/drbd
version: 8.0.4 (api:86/proto:86)
SVN Revision: 2947 build by root@g105-1, 2007-07-28 07:13:14
1: cs:Connectedst:Secondary/Secondaryds:UpToDate/UpToDate C r---
ns:0 nr:5 dw:5 dr:0 al:0 bm:0 lo:0 pe:0ua:0 ap:0
resync: used:0/31 hits:0 misses:0starving:0 dirty:0 changed:0
act_log: used:0/127 hits:0 misses:0starving:0 dirty:0 changed:0

    如今,两台主机都是”备机”
    在备机slave上,将它升级为”主机”

    [root@slave /]# drbdadm primary r0
[root@slave /]# cat /proc/drbd
version: 8.0.4 (api:86/proto:86)
SVN Revision: 2947 build by root@g105-2, 2007-07-28 07:13:14
1: cs:Connectedst:Primary/Secondaryds:UpToDate/UpToDate C r---
ns:0 nr:5 dw:5 dr:0 al:0 bm:0 lo:0 pe:0ua:0 ap:0
resync: used:0/31 hits:0 misses:0starving:0 dirty:0 changed:0
act_log: used:0/127 hits:0 misses:0starving:0 dirty:0 changed:0

    如今,slave成为了”主机”.你能够把它的/dev/drbd1进行挂载和使用了.一样,数据会被同步到master的/dev/drbd0上

###3、配合keepalived实现自动fail-over
Keepalived配置文件(主机)：

! Configuration File for keepalived
    global_defs {
        notification_email {
            acassen@firewall.loc
            failover@firewall.loc
            sysadmin@firewall.loc
        }
        notification_email_from Alexandre.Cassen@firewall.loc
        smtp_server 192.168.200.1
        smtp_connect_timeout 30
        router_id LVS_DEVEL
    }
    vrrp_scriptchk_nfs {
        script "/etc/keepalived/check_nfs.sh"
        interval 5
    }
    vrrp_instance VI_1 {
        state MASTER
        interface eth0
        virtual_router_id 51
        priority 100
        advert_int 1
        authentication {
            auth_type PASS
            auth_pass 1111
        }
        track_script {
            chk_nfs
        }
    notify_stop /etc/keepalived/notify_stop.sh         #脚本见附件
    notify_master /etc/keepalived/notify_master.sh     #脚本见附件
    virtual_ipaddress {
        172.16.200.234/24
    }
}

备机

! Configuration File for keepalived
global_defs {
    notification_email {
        acassen@firewall.loc
        failover@firewall.loc
        sysadmin@firewall.loc
    }
    notification_email_from Alexandre.Cassen@firewall.loc
    smtp_server 192.168.200.1
    smtp_connect_timeout 30
    router_id LVS_DEVEL
    }
vrrp_instance VI_1 {
    state BACKUP
    interface eth1
    virtual_router_id 51
    priority 90
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    notify_master /etc/keepalived/notify_master.sh     #脚本见附件

    notify_backup /etc/keepalived/notify_backup.sh     #脚本见附件

    virtual_ipaddress {
        172.16.200.234/24
    }
}

4、系列验证明验

nfs服务端配置：/test *(sync,rw,no_root_squash)

  1. 自动切换测试：

    关闭主上keepalived，会按照预期流程走。关闭主上nfs----卸载资源设备----主drbd降级----备drdb升级----备挂载资源设备----备启动nfs服务。可是在客户端看来，切换时间过长，切换后打开文件约有1.5分的延时，如图
    image

  2. 连续写测试：

    1. 在nfs客户段执行for i in {1..500};do dd if=/dev/zero of=/ljk/$i.filebs=1M count=1;done

      （/ljk为客户端挂载点，用dd向挂载点内写入500个1M的文件）。执行过程当中在主关闭keepalived，验证写入过程是否会中断

      经验证，写入过程没有中断，但中会出现一段时间的延时（一样比正常慢了1.5分左右）

    2. 客户端从其余目录向挂载点拷贝文件,中途开启原主的keepalived（vip自动切回主，产生一次切换动做）

      正常拷贝：time cp -av/data0/songjian/dhmh/* /ljk/用时1m57s

      有切换动做拷贝：在下图所示文件处产生停顿，最终用时3m43
      image
      检查切换过程产生中断可能受影响的文件和原文件是否一致，经md5sum验证，切换过程当中受影响复制产生延迟的文件内容未受影响
      image

      经验证，拷贝过程不中断，而且文件状态亦为受到切换动做的影响

    3. 连续读测试

      客户端挂载点向其余目录拷贝文件，以下图文件出产生延时
      image
      Md5sum验证文件一致性ok，以下图
      image

    疑问：关于切换动做致使的延迟时间问题，是哪里致使了切换过程当中出现延时；是否文件量越大延迟时间越长；在nfs客户端测试

    在不一样数量、大小的文件中打开统一文件测试延时

    FilesystemSizeUsedAvailUse% Mounted on
172.16.25.234:/test  1004M197M 757M  21% /ljk
197M小文件，切换后随即打开文件延时1m47s
172.16.25.234:/test  1004M 461M  492M  49% /ljk
461M小文件，切换后随即打开文件延时2m16s
172.16.25.234:/test  1004M 641M  313M  68% /ljk
641M小文件，切换后随即打开文件延时2m45s
192.168.0.234:/test           3.0G 2.5G  393M  87% /ljk
2.5G中大文件，切换后随即打开文件延时1m45
一样在641M小文件的前提：切换动做后，隔一段(3分钟)再打开文件，无延时
另外，在nfs server上主备切换后，在新的nfs server打开文件无延时，故可排除drbd层面的缘由。

    关于延时最终结论：nfs服务从主切换到备，从系统日志

    May 22 00:10:58 slave kernel: NFSD: Using/var/lib/nfs/v4recovery as the NFSv4 state recovery directory
May 22 00:10:58 slave kernel: NFSD: starting 90-second grace period

    看出至关于一次nfs服务重启操做，有一个90s的平滑重启过程，延时时间与文件数量及大小无关。

    也再一次验证了drbd提供的数据一致×××（包括文件的打开和修改状态等），在客户端看来，真个切换过程就是‘一次nfs重启’（主nfs停，备nfs启）。

附件：keepalived状态改变时所触动的脚本

相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程