用rsync对网站进行镜像备份

对系统管理员来讲，平时的工做重心应该集中在维护系统正常运转，可以正常提供服务上，这里每每牵涉到一个数据备份的问题，在我所了解的状况中，有 80%的系统管理员不是太关心本身服务器的安全性，但每每对备分镜像的技术至关感兴趣，但因为商业产品的软硬件价格都至关高昂，所以每每会选择自由软件。这里准备介绍的rsync就是这样的软件，它能够知足绝大多数要求不是特别高的备份需求。

 

1、特性简介

rsync是类 unix系统下的数据镜像备份工具，从软件的命名上就能够看出来了——remote sync。它的特性以下：

一、能够镜像保存整个目录树和文件系统。

二、能够很容易作到保持原来文件的权限、时间、软硬连接等等。

三、无须特殊权限便可安装。

四、优化的流程，文件传输效率高。

五、可使用 rcp、ssh等方式来传输文件，固然也能够经过直接的socket链接。

六、支持匿名传输。

 

2、使用方法

rsync的使用方法很简单，我就举本身使用的例子来讲明吧。

一、系统环境

rsync支持大多数的类 unix系统，不管是Linux、Solaris仍是BSD上都通过了良好的测试。个人系统环境为：

server: FreeBSD 4.3  ip: 192.168.168.52

client: Solaris 8    ip: 192.168.168.137

rsync 版本 2.4.6(能够从http://rsync.samba.org/rsync/得到最新版本)

二、配置 server端的/etc/rsyncd.conf文件

bash-2.03# cat /etc/rsyncd.conf

 

uid = nobody

gid = nobody

use chroot = no                  # 不使用 chroot

max connections = 4              # 最大链接数为 4

pid file = /var/run/rsyncd.pid

lock file = /var/run/rsync.lock

log file = /var/log/rsyncd.log # 日志记录文件

[inburst]                        # 这里是认证的模块名，在 client端须要指定

path = /home/inburst/python/     # 须要作镜像的目录

comment = BACKUP CLIENT IS SOLARIS 8 E250

ignore errors                    # 能够忽略一些无关的 IO错误

read only = yes                  # 只读

list = no                        # 不容许列文件

auth users = inburst             # 认证的用户名，若是没有这行，则代表是匿名

secrets file = /etc/inburst.pas # 认证文件名

[web]

path = /usr/local/apache/htdocs/

comment = inburst.org web server

三、在 server端生成一个密码文件/etc/inburst.pas

bash-2.03# cat /etc/inburst.pas

inburst:hack

出于安全目的，文件的属性必需是只有属主可读。

四、在 server端将rsync以守护进程形式启动

bash-2.03# rsync –daemon

若是要在启动时把服务起来，有几种不一样的方法，好比：

a、加入 inetd.conf

编辑 /etc/services，加入rsync   873/tcp，指定rsync的服务端口是873

编加 /etc/inetd.conf，加入rsync  stream  tcp   nowait  root  /bin/rsync rsync –daemon

b、加入 rc.local

在各类操做系统中， rc文件存放位置不尽相同，能够修改使系统启动时rsync --daemon加载进去。

五、从 client端进行测试

下面这个命令行中 -vzrtopg里的v是verbose，z是压缩，r是recursive，topg都是保持文件原有属性如属主、时间的参数。--progress是指显示出详细的进度状况，--delete是指若是服务器端删除了这一文件，那么客户端也相应把文件删除，保持真正的一致。后面的inburst@ip中，inburst是指定密码文件中的用户名，以后的::inburst这一inburst是模块名，也就是在/etc/rsyncd.conf中自定义的名称。最后的/tmp是备份到本地的目录名。

在这里面，还能够用 -e ssh的参数创建起加密的链接。能够用--password-file=/password/path/file来指定密码文件，这样就能够在脚本中使用而无需交互式地输入验证密码了，这里须要注意的是这份密码文件权限属性要设得只有属主可读。

bash-2.03# rsync -vzrtopg --progress --delete inburst@192.168.168.52::inburst /tmp/

Password:

receiving file list ... done

./

1

78500%)

1.py

4086 (100%)

2.py

10680 (100%)

A

0 (100%)

Ip

3956 (100%)

./

wrote 190 bytes  read 5499 bytes  758.53 bytes/sec

total size is 19507  speedup is 3.43

六、建立更新脚本

若是有比较复杂的工做，利用一些常见的脚本语言能够有帮助。好比：

bash-2.03# cat /usr/local/bin/rsync.sh

#!/bin/sh

DATE=`date +%w`

rsync -vzrtopg --progress --delete inburst@192.168.168.52::inburst /home/quack/backup/$DATE --password-file=/etc/rsync.pass > /var/log/rsync.$DATE

七、修改 /etc/crontab作好定时

好比 :

bash-2.03#echo "15 4 * * 6 root rsync.sh">>/etc/crontab

 

3、FAQ

Q：如何经过 ssh进行rsync，并且无须输入密码？

A：能够经过如下几个步骤

1. 经过 ssh-keygen在server A上创建SSH keys，不要指定密码，你会在~/.ssh下看到identity和identity.pub文件

2. 在 server B上的home目录创建子目录.ssh

3. 将 A的identity.pub拷贝到server B上

4. 将 identity.pub加到~[user b]/.ssh/authorized_keys

5. 因而 server A上的A用户，可经过下面命令以用户B ssh到server B上了

e.g. ssh -l userB server

这样就使 server A上的用户A就能够ssh以用户B的身份无需密码登录到server B上了。

 

Q：如何经过在不危害安全的状况下经过防火墙使用 rsync?

A：解答以下：这一般有两种状况，一种是服务器在防火墙内，一种是服务器在防火墙外。

不管哪一种状况，一般仍是使用 ssh，这时最好新建一个备份用户，而且配置sshd仅容许这个用户经过RSA认证方式进入。

若是服务器在防火墙内，则最好限定客户端的 IP地址，拒绝其它全部链接。

若是客户机在防火墙内，则能够简单容许防火墙打开 TCP端口22的ssh外发链接就ok了。

 

Q：我能将更改过或者删除的文件也备份上来吗？

A：固然能够，你可使用如： rsync -other -options -backupdir = ./backup-2000-2-13  ...这样的命令来实现。这样若是源文件:/path/to/some/file.c改变了，那么旧的文件就会被移到./backup-2000-2-13/path/to/some/file.c，这里这个目录须要本身手工创建起来。

 

Q：我须要在防火墙上开放哪些端口以适应 rsync？

A：视状况而定， rsync能够直接经过873端口的tcp链接传文件，也能够经过22端口的ssh来进行文件传递，但你也能够经过下列命令改变它的端口：

rsync --port 8730 otherhost::或者 rsync -e 'ssh -p 2002' otherhost:

 

Q：我如何经过 rsync只复制目录结构，忽略掉文件呢？

A： rsync -av --include '*/' --exclude '*' source-dir dest-dir

 

Q：为何我总会出现 "Read-only file system"的错误呢？

A：看看是否忘了设 "read only = no"了

 

Q：为何我会出现 '@ERROR: invalid gid'的错误呢？

A： rsync使用时默认是用uid=nobody;gid=nobody来运行的，若是你的系统不存在nobody组的话，就会出现这样的错误，能够试试gid = nogroup或者其它

 

Q：绑定端口 873失败是怎么回事？

A：若是你不是以 root权限运行这一守护进程的话，由于1024端口如下是特权端口，会出现这样的错误。你能够用--port参数来改变。

 

Q：为何我认证失败？

A：从你的命令行看来你用的是：

> bash$ rsync -a 144.16.251.213::test test

> Password:

> @ERROR: auth failed on module test

>

> I dont understand this. Can somebody explain as to how to acomplish this.

> All suggestions are welcome.

应该是没有以你的用户名登录致使的问题，试试 rsync -a max@144.16.251.213::test test

 

4、一些可借鉴的脚本

这里这些脚本都是 rsync网站上的例子：

一、每隔七天将数据往中心服务器作增量备份

#!/bin/sh

# This script does personal backups to a rsync backup server. You will end up

# with a 7 day rotating incremental backup. The incrementals will go

# into subdirectories named after the day of the week, and the current

# full backup goes into a directory called "current"

# tridge@linuxcare.com

 

# directory to backup

BDIR=/home/$USER

 

# excludes file - this contains a wildcard pattern per line of files to exclude

EXCLUDES=$HOME/cron/excludes

 

# the name of the backup machine

BSERVER=owl

 

# your password on the backup server

export RSYNC_PASSWORD=XXXXXX

 

########################################################################

 

BACKUPDIR=`date +%A`

OPTS="--force --ignore-errors --delete-excluded --exclude-from=$EXCLUDES

--delete --backup --backup-dir=/$BACKUPDIR -a"

 

export PATH=$PATH:/bin:/usr/bin:/usr/local/bin

 

# the following line clears the last weeks incremental directory

[ -d $HOME/emptydir ] || mkdir $HOME/emptydir

rsync --delete -a $HOME/emptydir/ $BSERVER::$USER/$BACKUPDIR/

rmdir $HOME/emptydir

 

# now the actual transfer

rsync $OPTS $BDIR $BSERVER::$USER/current

 

二、备份至一个空闲的硬盘

#!/bin/sh

 

export PATH=/usr/local/bin:/usr/bin:/bin

 

LIST="rootfs usr data data2"

 

for d in $LIST; do

    mount /backup/$d

    rsync -ax --exclude fstab --delete /$d/ /backup/$d/

    umount /backup/$d

done

 

DAY=`date "+%A"`

 

rsync -a --delete /usr/local/apache /data2/backups/$DAY

rsync -a --delete /data/solid /data2/backups/$DAY

 

三、对 vger.rutgers.edu的cvs树进行镜像

#!/bin/bash

 

cd /var/www/cvs/vger/

PATH=/usr/local/bin:/usr/freeware/bin:/usr/bin:/bin

 

RUN=`lps x | grep rsync | grep -v grep | wc -l`

if [ "$RUN" -gt 0 ]; then

    echo already running

    exit 1

fi

 

rsync -az vger.rutgers.edu::cvs/CVSROOT/ChangeLog $HOME/ChangeLog

 

sum1=`sum $HOME/ChangeLog`

sum2=`sum /var/www/cvs/vger/CVSROOT/ChangeLog`

 

if [ "$sum1" = "$sum2" ]; then

    echo nothing to do

    exit 0

fi

 

rsync -az --delete --force vger.rutgers.edu::cvs/ /var/www/cvs/vger/

exit 0

 

四、利用 find的一种巧妙方式

rsync -avR remote:'`find /home -name "*.[ch]"`' /tmp/

能够用这种方法列出须要备份的文件列表 ——这种方法彷佛比较少人用到。

 

5、参考资料：

一、 http://rsync.samba.org/

二、 rsync examples
三、 rsync FAQ