Rsync文件同步

Rsync文件同步

1. 本章结构

2. 关于rsync

一、一款增量备份工具，remote sync,远程同步，支持本地复制或者与其余SSH、rsync主机同步，官方网站:http://rsync.samba.org/。

Rsync（remote synchronize）是一个远程数据同步工具，可经过LAN/WAN快速同步多台主机间的文件，也可使用rsync同步本地硬盘中的不一样目录。

Rsync是用户取代rcp的一个工具，Rsync使用所谓的"Rsync算法"来使本地和远程两个主机之间的文件达到同步，这个算法只传送两个文件的不一样部分，而不是每次都整份传送，所以速度至关快，能够参考How Rsync A Practical Overview进一步了解Rsync的运做机制。

Rsync支持大多数的类Unix系统，不管是linux、solaris仍是BSD上都通过了良好的测试，此外，它在windows平台下也有相应的版本，比较知名的有cwRsync和Sync2NAS。

二、特色

能更新整个目录树和文件系统

有选择性的保持符号连接、硬连接、文件属于、权限、设备以及时间等

对于安装来讲，无任何特殊权限要求

对于多个文件来讲，内部流水线减小文件等待的延时

能用rsh、ssh或直接端口做为传输入端口

支持匿名rsync同步文件，是理想的镜像工具

三、同步源和发起源

Rsync同步源：指备份操做的远程服务器，也称为备份源，主要包括两种：rsync源、ssh源

四、文件格式

备份操做类型：

本地同步：rsync … 本地目录1 本地目录2

rsync+ssh同步：

rsync … ssh源 本地目录 （下行同步即下载）

rsync … 本地目录 ssh源 （上行同步即上传）

rsync+rsync同步：

rsync … rsync源 本地目录 （下行同步即下载）

rsync … 本地目录 rsync源 （上行同步即上传）

五、rsync命令的用法：

基本格式：rsync [选项] 原始位置 目录位置

经常使用选项：

-a：归档模式，递归并保留对象属性，等同于-rlptgoD

-v:显示同步过程的详细(verbose)信息

-z：在传输文件时进行压缩(compress)

-H：保留硬连接文件

-A：保留ACL属性信息

--delete:删除目标位置有而原始位置没有的文件

-r：递归模式，包含目录及子目录中全部文件

-l：对于符号连接文件仍然复制为符号连接文件

-p：保留文件的权限标记

-t：保留文件的时间标记

-g：保留文件的属组标记（仅超级用户使用）

-o：保留文件的属主标记（仅超级用户使用）

-D：保留设备文件及其余特殊文件

六、同步的优缺点

①按期同步的不足

执行备份的时间固定

当同步源长期不变化时，密集的按期任务是没必要要的

②实时同步的优势

一旦出现源出现变化，当即启动备份

只要同步源无变化，则不执行备份

七、linux内核的inotify机制从版本2.6.13开始提供，能够监控文件系统的变更状况，并做出通知响应，辅助软件:inotify-tools

八、调整内核的参数

max_queue_events:监控队列大小

max_user_instances:最多监控实例数

max_user_watches:每一个实例最多监控文件数

九、安装inotify-tools辅助工具

inotifywait:用于持续监控，实时输出结果

inotifywatch：用于短时间监控，任务完成后再出结果

#inotifywait –mrq -e modify,create,move,delete /var/www/html

选项：-m (monitoring) 实时监控

-r (recursive) 递归

-q (quiet) 安静模式

3、案例1：rsync+ssh同步

试验准备：两台主机，A主机和B主机IP地址分别为192.168.131.130、192.168.131.136，共享目录/usr/local/nginx/html

A主机操做：

# useradd wdd

# passwd wdd

# setfacl -m u:wdd:rwx /usr/local/nginx/html/ #设置ACL权限

# setfacl -m d:wdd:rwx /usr/local/nginx/html/

主机B操做：

# mkdir /client

# rsync -avz wdd@192.168.131.130:/usr/local/nginx/html/* /client

上面操做只同步/usr/local/nginx/html/下的文件，若是写成/usr/local/nginx/html，则同步整个目录

1. 案例2：rsync+rsync

   试验准备：A主机IP地址为192.168.131.130，B主机IP地址为192.168.131.136

   A主机做为同步源：

   # mkdir /server

   # cd /server/

   # chmod 777 /server/ #注意两边都要有相应的权限

   # touch server.txt

   # vim /etc/rsyncd.conf

   use chroot = yes

   address = 192.168.131.130

   port 873

   log file = /var/log/rsyncd.log

   pid file = /var/run/rsyncd.pid

   [share]

   comment = rsync server

   path = /server

   read only = no

   dont compress = *.gz #对后面格式不进行压缩

   auth users = wdd

   secrets file = /etc/rsyncd_users.db

   # vim /etc/rsyncd_users.db

   wdd:123456 #用户名和密码

   # chmod 600 /etc/rsyncd_users.db

   #注意必定要改这个权限，不然认证不经过

   # killall -9 rsync

   # rsync –daemon #只能这样启动rsync

   主机B客户端：

   进行下载操做

   # rsync -avz wdd@192.168.131.130::share /client

   也能够写成下面这样：

   # rsync -avz rsync://wdd@192.168.131.130/share/* /client/ /

   两种格式：

   rsync -avz xxx@服务器地址::共享名 本地目录

   rsync -avz rsync://xxx@服务器地址/共享名 本地目录

进行上传操做：

# cd /client/

# touch client.txt

# rsync -avz /client/client.txt rsync://wdd@192.168.131.130/share/

1. 案例3：rsync+inotify实现文件实时同步

   试验准备：主机A的IP地址为192.168.131.130，主机B的IP地址为192.168.131.136,主机A做为同步源

   一、主机A操做：

   同案例2操做

二、主机B操做：

# tar xf inotify-tools-3.14.tar.gz

# cd inotify-tools-3.14

# ./configure

# make

# make install

安装工具后需更改内核参数：vi /etc/sysctl.conf

fs.inotify.max_queue_events=16384 监控队列大小fs.inotify.max_user_instances=1024 最多监控实例数fs.inotify.max_user_watches=1048576 每一个实例最多监控文件数

# /usr/local/bin/inotifywait -mrq -e delete,create,modify,move /client/ #对/client目录进行实时监控

能够将上面的命令写成一个shell脚本，只要/client文件夹下面的文件发生修改，当即用rsync同步文件,脚本以下所示：

# vim inotify_check.sh

#!/bin/bash

SRCCMD=" /usr/local/bin/inotifywait -mrq -e delete,create,modify,move /client/"

DESTCMD="rsync -avz /client/* rsync://wdd@192.168.131.130/share/"

${SRCCMD}|while read DIRECTORY EVENTS FILE

do

${DESTCMD}

Done

# chmod +x inotify_check.sh

# export RSYNC_PASSWORD=123456

#将上面变量RSYNC_PASSWORD声明为全局变量，这样就不用每次运行上面脚本输入密码了

# ./inotify_check.sh #运行脚本

打开另一个窗口，做以下操做：

# cd /client/

# touch 1.txt

只要主机B下的/client文件夹下面的文件发生修改、建立、删除、移动都会被检测到，并·被同步到主机A下的/server下

1. 案例4：rsync+inotify+unison实现双机互相同步

   实验准备：两台主机，A主机地址为192.168.131.130,主机B的IP地址为192.168.131.136

   1. 操做主机A
      1. 配置SSH

         # ssh-keygen -t rsa

         # ssh-copy-id 192.168.131.136

         # ssh root@192.168.131.136#测试是否登陆主机B不须要输入密码

      2. 安装inotify

         # tar xf inotify-tools-3.14.tar.gz

         # cd inotify-tools-3.14

         # ./configure

         # make && make install

      3. 安装unison

         # tar xf ocaml-3.10.1.tar.gz #先安装unison的底层依赖包

         # cd ocaml-3.10.1

         # ./configure

         # make world opt

         # make install

         # tar xf unison-2.13.16.tar.gz

         # cd unison-2.13.16

         # make UISTYLE=text STATIC=true THREADS=true

         # make install

         # cp unison /usr/local/bin/

      4. 建立同步目录

         # mkdir /backup1

      5. # vim intify_unison.sh

#!/bin/bash

IP="192.168.131.136"

SRC="/backup1"

DEST="/backup2"

/usr/local/bin/inotifywait -mrq -e modify,create,delete,move ${SRC}| while \

read DIRECTORY EVENTS FILE

do

/usr/local/bin/unison -batch ${SRC} ssh://${IP}/${DEST}

done

# chmod +x intify_unison.sh

1. 操做主机B
   1. 配置SSH

      # ssh-keygen -t rsa

      # ssh-copy-id 192.168.131.130

      # ssh 192.168.131.130 #测试登陆主机A是否须要登陆密码

   2. 安装inotify

      # tar xf inotify-tools-3.14.tar.gz

      # cd inotify-tools-3.14

      # ./configure

      # make && make install

   3. 安装unison

      # tar xf ocaml-3.10.1.tar.gz #安装unision须要的底层依赖包

      # cd ocaml-3.10.1

      # ./configure

      # make world opt

      # make install

      # make UISTYLE=text THREADS=true STATIC=true

      # make install

      # cp unison /usr/local/bin/

   4. 建立同步目录

      # mkdir /backup2

   5. # vim intify_unison.sh

      #!/bin/bash

      IP="192.168.131.130"

      SRC="/backup2"

      DEST="/backup1"

      /usr/local/bin/inotifywait -mrq -e modify,create,delete,move ${SRC}| while \

      read DIRECTORY EVENTS FILE

      do

      /usr/local/bin/unison -batch ${SRC} ssh://${IP}/${DEST}

      done

# chmod +x intify_unison.sh

1. 测试两主机是否互相同步数据
   1. 在主机A上操做：

      # ./intify_unison.sh

      打开另外一个对话窗口，做以下操做：

      # cd /backup1/

      # touch 1.txt

      打开主机B发现了1.txt

   2. 在主机B上操做：

      # ./intify_unison.sh

      打开另外一个对话窗口，做以下操做：

      # cd /backup2/

      # touch 2.txt

      打开主机A发现了2.txt