rsync+inotify实现多台服务器之间数据实时同步

1.Inotify

    Inotify，它是一个内核用于通知用户空间程序文件系统变化的机制。众所周知，Linux 桌面系统与 MAC 或 Windows 相比有许多不如人意的地方，为了改善这种情况，开源社区提出用户态须要内核提供一些机制，以便用户态可以及时地得知内核或底层硬件设备发生了什么，从而可以更好地管理设备，给用户提供更好的服务，如hotplug、udev 和 inotify 就是这种需求催生的。Hotplug 是一种内核向用户态应用通报关于热插拔设备一些事件发生的机制，桌面系统可以利用它对设备进行有效的管理，udev 动态地维护 /dev 下的设备文件，inotify 是一种文件系统的变化通知机制，如文件增长、删除等事件能够马上让用户态得知，该机制是著名的桌面搜索引擎项目 beagle 引入的，并在 Gamin 等项目中被应用。

2.rsync

     rsync其实就是remote  rsync，它是一个远程同步工具，兼具cp和scp的功能，rsync命令的使用几乎和scp是同样同样的。rsync是经过超级守护进程xinetd进行触发同步的。

 1）优势：与cp和scp相比来讲，rsync更快，更安全，支持增量备份。rsync在数据同步的过程当中，不像cp同样所有都拷贝，而是先去比对特征码，只有不同的才会去拷贝，若是同样了，就不需再作多余操做。经过使用rsync+crontab能够解决对实时性要求不是过高的场景。

 2）缺点：在这个大数据年代，若是你的数据量很是大，你每作一次任务计划，rsync都会先去遍历目标目录，把全部数据作一次特征码比对，而后进行差量传输，这个过程会是很漫长的，对于那些要求实时性更新比较高的企业来讲，无疑是一场噩梦。可是若是可以出现一个工具可以实时的去监控咱们的文件系统，只有在数据改变时才会触发它去同步，那该有多好啊！为了知足广大需求者的心声rsync+inotify组合就出现了

3.rsync+inotify 之推荐理由

 1）服务器性能：rsync+crontab会定时去检查是否有文件更新，这势必会形成服务器性能降低；而rsync+inotify组合是触发式更新，只有在数据文件有变化时，才会去更新，所以相对前者而言，是提升了服务器性能

 2）数据实时性：rsync+crontab是周期性任务计划，不能保证数据的实时性；rsync+inotify组合是触发式更新，只要有数据变化，就马上同步更新

4.系统平台环境

 一、操做系统：CentOS6.4-X86_64

 二、rsync客户端（rsync+inotify）：172.16.150.150

 三、rsync服务端：172.16.251.93，172.16.251.194

   实验拓扑

4.配置rsync服务端（172.16.251.9三、172.16.251.194）  

    配置rsync服务端：172.16.251.93

  1）检查系统是否已经安装rsync和xinetd超级守护进程，CentOS6.4默认已经安装rsync，但未安装xinetd

[root@nmshuishui www]#  rpm -qa | grep rsync

rsync-3.0.6-9.el6.x86_64

[root@nmshuishui www]#yum -y install xinetd rsync

  2）为rsync服务提供配置文件

  vim /etc/rsyncd.conf

01.#Global Settings 全局配置 

02.uid =  nobody                         #运行rsync的用户

03.gid =  nobody                         #运行rsync的用户组

04.use chroot =  no                      #是否让进程离开工做目录

05.max connections =  5                  #最大并发链接数，0为不限制

06.timeout =  600                        #超时时间

07.pid file = /var/run/rsyncd.pid        #指定rsync的pid存放路径

08.lockfile =  /var/run/rsyncd.lock      #指定rsync的锁文件存放路径

09.log file = /var/log/rsyncd.log        #指定rsync的日志存放路径

10.#模块配置

11.[web1]

12.path =  /var/www                      #认证的模块名,在client端须要指定

13.ignore errors =  yes                  #忽略一些无关的I/O错误

14.read only = no                       #客户端是否能拉（PULL）

15.write only =  no                      #客户端是否能推（PUSH）

16.hosts allow =  172.16.150.150         #白名单，能够访问此模块的主机

17.hosts deny =  *                       #黑名单，*表示任何主机

18.list = yes                           #客户端请求是否能够列出模块列表

19.uid =  root                           #以root的身份去获取文件

20.gid = root

21.auth users = web                      #认证此模块的用户名

22.secrets file = /etc/web.passwd       #指定存放“用户名：密码”格式的文

 3）建立同步目录

[root@nmshuishui  ~]# mkdir /var/www

 4）配置rsync认证文件/etc/web.passwd

[root@nmshuishui ~]# echo "web:web" >  /etc/web.passwd

[root@nmshuishui  ~]# cat /etc/web.passwd

web:web

 5)修改/etc/web.passwd的权限为600

[root@nmshuishui ~]# chmod 600  /etc/web.passwd

[root@nmshuishui  ~]# ll /etc/web.passwd

-rw------- 1 root root 10  Mar 27 22:31 /etc/web.passwd

 6）配置服务可以启动

[root@nmshuishui ~]# chkconfig rsync on

[root@nmshuishui  ~]# service xinetd start

Starting  xinetd:                                           [  OK   ]

  配置rsync服务端：172.16.251.194

步骤同上

 1）检查系统是否已经安装rsync和xinetd超级守护进程

 2）为rsync服务提供配置文件

  vim /etc/rsyncd.conf

 

01.#Global Settings 

02.uid = nobody

03.gid = nobody

04.use chroot = no

05.max connections = 5

06.timeout = 600

07.pid file = /var/run/rsyncd.pid

08.lockfile =  /var/run/rsyncd.lock

09.log file = /var/log/rsyncd.log

10.[web2]

11.path = /var/www

12.ignore errors =  yes

13.read only = no

14.write only = no

15.hosts allow =  172.16.150.150

16.hosts deny = *

17.list = yes

18.uid = root

19.gid = root

20.auth users = web

21.secrets file = /etc/web.passwd

 3）建立同步目录

[root@shuishui  www]# mkdir /var/www

 4）配置rsync认证文件/etc/web.passwd

[root@shuishui www]# echo "web:web" >  /etc/web.passwd

[root@shuishui www]# cat /etc/web.passwd

web:web

 5)修改/etc/web.passwd的权限为600

[root@shuishui www]# chmod 600  /etc/web.passwd

[root@shuishui www]# ll /etc/web.passwd

-rw------- 1 root root 10  Mar 29 15:21 /etc/web.passwd

 6）配置服务可以启动

[root@nmshuishui ~]# chkconfig rsync on

[root@nmshuishui  ~]# service xinetd start

Starting  xinetd:                                           [  OK   ]

  配置rsync客户端（172.16.150.150）

一、设置 rsync 客户端的密码文件，客户端只须要设置 rsync 同步的密码便可，不用设置用户名（默认已经安装了rsync）

[root@shuishui www]# echo web >  /etc/web.passwd

[root@shuishui www]# cat /etc/web.passwd

web

二、修改/etc/rsyncd.passwd的权限为600

[root@shuishui www]# chmod 600  /etc/web.passwd

[root@shuishui  www]# ll /etc/web.passwd

-rw------- 1 root root 10  Mar 26 21:28 /etc/web.passwd

三、安装inotify-tools

[root@shuishui www]# tar xf  inotify-tools-3.13.tar.gz

[root@shuishui www]# cd  inotify-tools-3.13

[root@shuishui www]# ./configure

[root@shuishui www]# make && make  install

  编写rsync脚本，实现数据实时同步

一、在rsync客户端（172.16.150.150）编写rsync脚本

vim /var/www/rsync.sh

01.#!/bin/bash

02.src=/var/www/

03.des1=web1

04.des2=web2

05.host1=172.16.251.93

06.host2=172.16.251.194

07.user1=web

08.user2=web

09./usr/local/bin/inotifywait -mrq --timefmt  '%d/%m/%y %H:%M' --format '%T %w %f' -e modify,delete,create,attrib $src | while read file DATE TIME DIR;

10.do

11./usr/bin/rsync -vzrtopg --delete --progress $src  $user1@$host1::$des1 --password-file=/etc/web.passwd

12./usr/bin/rsync -vzrtopg --delete --progress $src  $user2@$host2::$des2 --password-file=/etc/web.passwd

13.echo "${files} was rsynced" >> /var/log/rsync.log 2>&1

14.done

 

二、给rsync.sh执行权限

[root@shuishui www]#  chmod +x rsync.sh

[root@shuishui  www]# ll rsync.sh

-rwxr-xr-x 1 root root  523 Mar 27 00:46 rsync.sh

三、把脚本加入到开机自动启动文件

[root@shuishui  www]# echo "/var/www/rsync.sh &" >>  /etc/rc.local