三种主要数据传输方式:
node
1.单主机本地目录间数据传输(相似cp)算法
Local: rsync [OPTION...] SRC... [DEST]
2.借助rcp,ssh等通道来传输数据(相似scp)shell
Access via remote shell: Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST] Push: rsync [OPTION...] SRC... [USER@]HOST:DEST
3.守护进程(socket)的方式传输数据vim
Access via rsync daemon: Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST] rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST] Push: rsync [OPTION...] SRC... [USER@]HOST::DEST rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST
选项:
安全
经常使用: -z, --compress 对备份的文件在传输时进行压缩处理。 -v, --verbose 详细模式输出。 -a, --archive 归档模式,表示以递归方式传输文件,并保持全部文件属性,等于-rlptgoD。 --bwlimit=KBPS 限制I/O带宽,KBytes per second。 -P 等同于 --partial, --progress 显示备份进度。 -e, --rsh=command 指定使用rsh、ssh方式进行数据同步。例:rsync -avzP -e 'ssh -p 22'/etc/ root@192.168.197.129:/tmp/ --exclude=PATTERN 指定排除不须要传输的文件模式。可指定屡次 --exclude-from=FILE 排除FILE中指定模式的文件。 --delete 删除那些DST中SRC没有的文件。 -h, --help 显示帮助信息。 -q, --quiet 精简输出模式。 -c, --checksum 打开校验开关,强制对文件传输进行校验。 -r, --recursive 对子目录以递归模式处理。 -R, --relative 使用相对路径信息。 -b, --backup 建立备份,也就是对于目的已经存在有一样的文件名时,将老的文件从新命名为~filename。可使用--suffix选项来指定不一样的备份文件前缀。 --backup-dir 将备份文件(如~filename)存放在在目录下。 -suffix=SUFFIX 定义备份文件前缀。 -u, --update 仅仅进行更新,也就是跳过全部已经存在于DST,而且文件时间晚于要备份的文件,不覆盖更新的文件。 -l, --links 保留软链结。 -L, --copy-links 想对待常规文件同样处理软链结。 --copy-unsafe-links 仅仅拷贝指向SRC路径目录树之外的链结。 --safe-links 忽略指向SRC路径目录树之外的链结。 -H, --hard-links 保留硬链结。 -p, --perms 保持文件权限。 -o, --owner 保持文件属主信息。 -g, --group 保持文件属组信息。 -D, --devices 保持设备文件信息。 -t, --times 保持文件时间信息。 -S, --sparse 对稀疏文件进行特殊处理以节省DST的空间。 -n, --dry-run现实哪些文件将被传输。 -w, --whole-file 拷贝文件,不进行增量检测。 -x, --one-file-system 不要跨越文件系统边界。 -B, --block-size=SIZE 检验算法使用的块尺寸,默认是700字节。 --rsync-path=PATH 指定远程服务器上的rsync命令所在路径信息。 -C, --cvs-exclude 使用和CVS同样的方法自动忽略文件,用来排除那些不但愿传输的文件。 --existing 仅仅更新那些已经存在于DST的文件,而不备份那些新建立的文件。 --delete-excluded 一样删除接收端那些被该选项指定排除的文件。 --delete-after 传输结束之后再删除。 --ignore-errors 及时出现IO错误也进行删除。 --max-delete=NUM 最多删除NUM个文件。 --partial 保留那些因故没有彻底传输的文件,以是加快随后的再次传输。断电续传,未传输完成的文件为隐藏文件。 --force 强制删除目录,即便不为空。 --numeric-ids 不将数字的用户和组id匹配为用户名和组名。 --timeout=time ip超时时间,单位为秒。 -I, --ignore-times 不跳过那些有一样的时间和长度的文件。 --size-only 当决定是否要备份文件时,仅仅察看文件大小而不考虑文件时间。 --modify-window=NUM 决定文件是否时间相同时使用的时间戳窗口,默认为0。 -T --temp-dir=DIR 在DIR中建立临时文件。 --compare-dest=DIR 一样比较DIR中的文件来决定是否须要备份。 --include=PATTERN 指定不排除而须要传输的文件模式。 --include-from=FILE 不排除FILE指定模式匹配的文件。 --version 打印版本信息。 --address 绑定到特定的地址。 --config=FILE 指定其余的配置文件,不使用默认的rsyncd.conf文件。 --port=PORT 指定其余的rsync服务端口。 --blocking-io 对远程shell使用阻塞IO。 -stats 给出某些文件的传输状态。 --progress 在传输时现实传输过程。 --log-format=formAT 指定日志文件格式。 --password-file=FILE 从FILE中获得密码。
使用示例:bash
本机把AAA目录下的内容拷贝到BBB目录下,要求保留文件原有属性,删除BBB目录下AAA没有的内容。服务器
将本机文件dbfile发送到主机172.16.1.1的backup下,限速2m。ssh
rsync -avzP -e 'ssh -p 22' --bwlimit=204 dbfile 172.16.1.1:/backup
3.把主机opt目录复制到本机tmp目录下
socket
rsync -avzP root@node2:/opt /tmp/
Rsync服务配置:
ide
①rsyncd.conf配置文件经常使用参数说明
rsyncd.conf参数 | 参数说明 |
---|---|
uid=rsync | #rsync使用的用户。 |
gid=rsync | #rsync使用的用户组(用户所在的组) |
use chroot=no | #默认yes,daemon会在客户端传输文件前“chroot to the path”。这是一种安全配置 |
max connections=200 | #设置最大链接数,默认0,意思无限制,负值为关闭这个模块 |
timeout=400 | #默认为0,表示no timeout,建议300-600(5-10分钟) |
pid file | #rsync daemon启动后将其进程pid写入此文件。若是这个文件存在,rsync不会覆盖该文件,而是会终止 |
lock file | #指定lock文件用来支持“max connections”参数,使得总链接数不会超过限制 |
log file | #不设或者设置错误,rsync会使用rsyslog输出相关日志信息 |
ignore errors | #忽略I/O错误 |
read only=false | #指定客户端是否能够上传文件,默认对全部模块为true |
list=false | #是否容许客户端能够查看可用模块列表,默认为能够 |
hosts allow | #指定能够联系的客户端主机名或和ip地址或地址段,默认状况没有此参数,即均可以链接 |
hosts deny | #指定不能够联系的客户端主机名或ip地址或地址段,默认状况没有此参数,即均可以链接 |
auth users | #指定以空格或逗号分隔的用户可使用哪些模块,用户不须要在本地系统中存在。默认为全部用户无密码访问 |
secrets file | #指定用户名和密码存放的文件,格式;用户名;密码,密码不超过8位 |
[node2] | #这里就是模块名称,需用中括号扩起来,起名称没有特殊要求,但最好是有意义的名称,便于之后维护。可多段 |
path | #这个模块中,daemon使用的文件系统或目录,目录的权限要注意和配置文件中的权限一致,不然会遇到读写的问题 |
②安装前准备
服务端node1安装rsync 建立rsync用户:useradd -M -s /sbin/nologin rsync 建立共享目录:mkdir /data/local_data_backup/ 更改共享目录属组:chown -R rsync /data/local_data_backup/ 建立虚拟用户密码:echo "rsync_backup:123456" >/etc/rsync.password chmod 600 /etc/rsync.password
③编辑服务端配置文件
vim /etc/rsyncd.conf uid = rsync gid = rsync use chroot = no max connections = 200 timeout = 300 port = 873 pid file = /var/run/rsyncd.pid lock file = /var/run/rsync.lock log file = /var/log/rsyncd.log igonre errors read only = false list = false #exclude = lost+found/ 指定目录下某内容不发布 hosts allow = 0.0.0.0/8 hosts deny = 0.0.0.0/32 auth users = rsync_backup secrets file = /etc/rsync.password dont compress = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2 [node2] path = /data/local_data_backup/ ##启动服务:rsync --daemon
④客户端node2配置
服务端node2安装rsync 建立密码文件:echo "123456" > /etc/rsync.password 更改密码文件权限:chmod 600 /etc/rsync.password
⑤测试,注意操做都在客户端进行
客户端指定任意目录内容推送到服务器端rsync指定目录下。 rsync -avz /tmp/ rsync_backup@192.168.1.1::node2 --password-file=/etc/rsync.password 将rsync服务器端指定目录下任意内容同步到客户端 rsync -avzP rsync_backup@192.168.1.1::node2/test.tar.gz /tmp/ --password-file=/etc/rsync.password
⑥附Rsyncd服务脚本:
#!/bin/bash # chkconfig:35 13 91 # description:This is Rsync service management shell script # Source function library . /etc/rc.d/init.d/functions start(){ rsync --daemon if [ $? -eq 0 -a `ps -ef|grep -v grep|grep rsync|wc -l` -gt 0 ];then action "Starting Rsync:" /bin/true sleep 1 else action "Starting Rsync:" /bin/false sleep 1 fi } stop(){ pkill rsync;sleep 1;pkill rsync if [ `ps -ef|grep -v grep|grep "rsync --daemon"|wc -l` -lt 1 ];then action "Stopping Rsync: " /bin/true sleep 1 else action "Stopping Rsync:" /bin/true sleep 1 fi } case "$1" in start) start; ;; stop) stop; ;; restart) stop; start; ;; *) echo $"Usage: $0 {start|stop|restart}" ;; esac