Rsync企业实战之自动异地备份

认真的测试过网上的大多数文章和版本，真正能一次性测试经过的文章太少了，须要反复的推敲，反复的查阅资料，才能真正的测试成功，因此，在此背景下，总结了Rsync,加上本身的理解分享出来；

一、 原理篇

Rsync，故名思议，是一个远程数据同步工具，能够镜像整个目录树和文件系统，也能够保持源文件的权限，时间和软硬连接，能够优化数据，文件重复数据的删除，也能够在LAN/WAN之间快速的同步多台主机的数据，这主要得益于Rsync的压缩和Rsync的核心算法，其算法，是本地和远程两台主机之间的文件达到同步并保持一致，而且只传送两个文件的不一样部分，而不是整个数据进行传送，因此，速度很是快；

一个Rsync server可以同时备份多个客户端数据，也能够一个客户端备份多个Rsync server的数据；

Rsync 支持搭配scp,ssh和daemon模式，默认端口是873，当第一次链接的时候，会对数据进行完整备份，以后的全部备份，都是进行增量备份，只备份又变化的数据；

Rsync只支持单向备份，不支持双向，若是须要双向同步的，可使用Unison；若是须要实时同步的，能够结合Rsync+inotify；

Rsync服务以只读方式提供要备份的数据，避免破坏生产环境的数据；

在这里，有必要对Rsync的核心算法，进行讲解：

假定在名为 α 和 β 的两台计算机之间同步类似的文件 A 与 B，其中 α 对文件A拥有访问权，β 对文件 B 拥有访问权。而且假定主机 α 与 β 之间的网络带宽很小。那么 Rsync 算法将经过下面的五个步骤来完成：

β 将文件 B 分割成一组不重叠的固定大小为 S 字节的数据块。最后一块可能会比 S 小。   
β 对每个分割好的数据块执行两种校验：一种是32位的滚动弱校验，另外一种是128位的 MD4 强校验。    
β 将这些校验结果发给 α。    
α 经过搜索文件 A 的全部大小为 S 的数据块（偏移量能够任选，不必定非要是 S 的倍数），来寻找与文件B 的某一块有着相同的弱校验码和强校验码的数据块。这项工做能够借助滚动校验的特性很快完成。    
α 发给 β 一串指令来生成文件 A 在 β 上的备份。这里的每一条指令要么是对文件 B 经拥有某一个数据块而不须重传的证实，要么是一个数据块，这个数据块确定是没有与文件 B 的任何一个数据块匹配上的。

Rsync适用于linux、solaris和bsd，在windows平台下，有cwRsync。

本文，将以Linux的Rsync和以window的cwRsync为例讲解。

二、 Rsync服务端

2.一、 安装

源码安装

下载rsync服务端程序，

tar zxvf rsync-2.6.9.tar.gz

cd rsync-2.6.9

./configure --prefix=/usr/local/rsync

make

make install

rpm安装

yum install rsync

本文以yum来安装

2.二、 服务器运行模式

模式选择

对于负载比较重的，选择独立服务启动

对于负载比较轻的，选择以xinet.d启动，选择此模式，记得要安装xinet.d （yum install xinet.d）

独立运行模式

/usr/bin/rsync --daemon --config=/etc/rsyncd.conf （本例选择此方法）

若是须要系统开机启动，能够把上面命令加入到/etc/rc.local文件中。

2.三、 服务器配置

建立配置文件和口令文件

touch /etc/rsyncd.conf 主要配置文件

touch /etc/rsync.pas 口令文件，此文件须要注意客户端和服务器端的格式，后续会讲解

关于配置文件rsyncd.conf讲解

Rsync的配置文件，分为两个部分，全局配置和模块配置，

#全局设置

uid = root 指定模块以root用户来传输文件，若是匿名用户的话，这里填写nobody

gid = root 指定模块以root用户组来传输文件，若是匿名传输的话，这里填写nobody

use chroot = yes 设置为YES，表示在传输文件以前，定位到根目录下，即PATH指定的目录，这样作，主要是出于安全考虑

pid file = /var/run/rsyncd.pid Rsync守护进程把其PID写入的文件

lock file = /var/run/rsync.lock 指定支持max connections的锁文件

log file = /var/log/rsyncd.log 指定Rsync守护进程产生的日志文件，而不是传送给syslog

#模块设置

[Jindie] 模块名称，后续上传下载文件配置时，直接使用此名称名来指定

path = /sda1/JDdatabase 指定此模块的根目录，即文件上传下载都是在此目录下进行

ignore errors 指定在 rsync 服务器上运行 delete 操做时是否忽略 I/O 错误

read only = false 指定是否容许上传，false表明容许上传。

write only = false 指定是否容许下载，false表明容许下载。

list = true 指定当客户请求列出可使用的模块，该模块是否被列出。若是false，能够建立隐藏的模块。

hosts allow = 192.168.1.65 指定哪些客户端能够访问链接此模块，能够指定单个IP，整个网段，好比此例为单个IP

hosts deny = 0.0.0.0/0 指定哪些客户端不容许链接此模块，此例为0.0.0.0/0网段，表明整个网络

一般表示客户端表示方式，有以下：

单个IP：192.168.1.65

网段IP：192.168.1.0/24

可解析的主机地址：www.baidu.com

域内主机：*.wine9.com

全部主机：*

多个列表项，要用空格隔开；

auth users = xy 指定认证用户名，一般由空格或者逗号分隔用户名列表，只有这些用户能够链接此模块，用户名和密码，以明文形式，保存在口令文件中

syslog facility = local5 指定日志等级，通常指发送给rsyslog的日志等级；

secrets file = /etc/rsync.pas 指定Rsync认证口令文件，只有配置了auth users，此配置才生效，这里要注意客户端和服 务器端的配置格式。

ignore nonreadable 指定 rysnc 服务器彻底忽略那些用户没有访问权限的文件，这对于在须要备份的目录中有些不该该被备份者获取的文件时很是有意义

timeout 600 设置客户端链接超时时间，确保服务器不会永远等待一个奔溃的客户端。

dont compress=*.gz 指定哪些文件在传输以前，不须要进行压缩的文件。

max connections = 4 指定此模块最大的并发链接数为4，超过的告知随后再试

exclude指定多个由空格隔开的多个文件或目录(相对路径)，并将其添加到 exclude 列表中。这等同于在客户端命令中使用 –exclude 来指定模式。

Exclude from指定一个包含 exclude 规则定义的文件名，服务器从该文件中读取 exclude 列表定义

include指定多个由空格隔开的多个文件或目录(相对路径)，并将其添加到 include 列表中。这等同于在客户端命令中使用 –include 来指定模式

Include from指定一个包含 include 规则定义的文件名，服务器从该文件中读取 include 列表定义

2.四、 创建Rsync口令文件

建立口令文件

touch /etc/rsync.pas #口令文件，保存Rsync用户和密码验证信息，不须要是系统帐号;

vi /etc/rsync.pas

xy:abc123 #格式为 用户名：口令，此帐号不用是系统帐号

注意与后面的客户端口令文件的格式进行比较，相较二者不一样点，这一点，有不少童鞋容易弄错了，重要的事情说三遍，注意格式，注意格式，注意格式。

2.五、 口令文件权限

口令文件，须要设置口令文件权限，这一步一样很是重要，Rsync对权限的要求仍是比较敏感的。

#chown root:root /etc/rsync.pas #root:root 指的是当前启动此服务的用户，并设置为属主

#chmod 600 /etc/rsync.pas #指定启动此Rsync服务的用户的权限为只读权限，也就是前面提到的属主的权限。

三、 Rsync客户端

客户端本例，选择windows的cwrsync工具，安装不用多说。

3.一、 建立口令文件

新建rsync.pas文件，添加内如以下：

由于我使用的用户名是xy，此设置的密码，必须跟服务器端rsync.pas口令文件中设置的密码同样，好比本例口令为abc123;

那么，本例中设置为：

abc123

3.二、 口令文件权限

windows口令文件的权限必定要设置正确，不然验证没法经过，应将口令文件c:\rsync.pas的权限加入系统登陆的帐号读取权限以及设置其为该文件的全部者（这里跟服务器端有点不一样，正常来讲，不管windows仍是liunx，服务器端的这个用户名，应该是启动Rsync服务的用户名，可是对于windows客户端来讲，通常都是系统登陆帐号）

定位到cwRsync客户端安装目录，C:\Program Files (x86)\cwRsync\bin

chmod 600 /cygdrive/c/rsync.pas

chown administrator /cygdrive/c/rsync.pas #若是没有chown.exe文件，能够从服务器端的安装目录的bin目录下直接复制过来就可使用，

注：Rsync对路径的书写格式，与windows不一样，它是遵循，postfix书写格式，

3.三、 同步文件

Rsync同步的六种格式

当Rsync已经作好服务器端和客户端的配置以后，接下来就是经过Rsync命令，像服务器发起命令请求，来完成文件的同步操做，Rsync的功能很是强大，提供了六种格式，来支持Rsync的六种工做方式；

rsync [OPTION]... SRC DEST   
rsync [OPTION]... SRC [USER@]HOST:DEST    
rsync [OPTION]... [USER@]HOST:SRC DEST    
rsync [OPTION]... [USER@]HOST::SRC DEST    
rsync [OPTION]... SRC [USER@]HOST::DEST    
rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST]

对于以上六种命令格式，

1） rsync [OPTION]... SRC DEST

拷贝本地文件，当SRC和DEST路径信息都不包含有单个冒号“：“，就启动此工做模式，

rsync.exe –vzrtopg /data /backup

2） rsync [OPTION]... SRC [USER@]HOST:DEST

使用一个远程shell程序(如rsh、ssh)来实现将本地机器的内容拷贝到远程机器。当DST路径地址包含单个冒号":"分隔符时启动该模式。如：rsync -avz *.c foo:src

3) rsync [OPTION]... [USER@]HOST:SRC DEST   
使用一个远程shell程序(如rsh、ssh)来实现将远程机器的内容拷贝到本地机器。当SRC地址路径包含单个冒号":"分隔符时启动该模式。如：rsync -avz foo:src/bar /data

4) rsync [OPTION]... [USER@]HOST::SRC DEST   
从远程rsync服务器中拷贝文件到本地机。当SRC路径信息包含"::"分隔符时启动该模式。如：rsync -av root@172.16.78.192::www /databack，其中www是在rsync配置文件中，指定的模块的名称。

5) rsync [OPTION]... SRC [USER@]HOST::DEST   
从本地机器拷贝文件到远程rsync服务器中。当DST路径信息包含"::"分隔符时启动该模式。如：rsync -av /databackroot@172.16.78.192::www，其中www是在rsync配置文件中，指定的模块的名称。

6) rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST]   
列远程机的文件列表。这相似于rsync传输，不过只要在命令中省略掉本地机信息便可。如：rsync -v rsync://172.16.78.192/www

上传同步文件

rsync.exe -vzrtopg --progress --delete /cygdrive/c/test/*.txt xy@192.168.31.13::Jindie --password-file=/cygdrive/c/rsync.pas

解释：

rsync.exe 即rsync命令

vzrtopg 指定参数，传输的详细信息；

--delete 删除哪些在DST中存在，而SRC中没有存在的文件或者目录

/cygdrive/c/test/*.txt 注意这里的格式，不能使用windows的格式，必须使用POSTFIX标准格式；

xy@192.168.31.13::Jindie xy是有权访问服务器的用户名，192.168.31.13是服务器地址，Jindie是服务器端配置文件中指定的模块，这个模块中指定用户信息和同步路径；服务器地址和模块之间，用两个冒号隔开。

--password-file=/cygdrive/c/rsync.pas 口令文件，当中含有xy帐号的密码，要与服务器端配置文件rsyncd.conf中指定的口令文件中设置的密码相同。

下载同步文件

rsync.exe -vzrtopg --progress --delete xy@192.168.31.13::Jindie /cygdrive/c/test --password-file=/cygdrive/c/rsync.pas

一般，由于上传和下载的方向性不一样，直接调换源文件路径和目标地址的路径，便可。

四、 定时同步备份

把上面的命令写入到批处理器文件中，好比test.bat，经过任务计划来实现定时备份。

C:\Program Files (x86)\cwRsync\bin

rsync.exe -vzrtopg --progress --delete /cygdrive/c/test/*.txt xy@192.168.31.13::Jindie --password-file=/cygdrive/c/rsync.pas

复制上面命令，保存到test.bat文件中，

开始 -- 全部程序-- 附件--系统工具--任务计划程序

展开 任务计划程序库--Microsoft，右击 “建立基本任务“

建立基本任务向导，输入 ”名称”

点击 “下一步”

任务触发器，根据实际须要，设置每日，每周，每个月同步，这里，我选择每日备份，能够减小带宽压力。

设置，每日启动的时间，这里设置每日，凌晨1点，点击 “下一步”

选择 “启动程序“

浏览，选择 脚本文件

点击 ”完成 “

到此，部署，已经所有完成。