rsync 数据同步

什么是Rsync?

         Rsync是一款开源的、快速的、多功能的、可实现全量及增量的本地货远程数据同步备份的优秀工具。适用于unix/linux/windows等多种操作系统平台。

         Rsync具有可使本地和远程两台主机之间的数据快速复制同步镜像、远程备份的功能,这个功能类似SSH带scp命令,但又优于scp命令的功能,scp每次都是全量拷贝,而rsync可以增量拷贝,当然,rsync还可以在本地主机的不同分区或目录之间全量及增量的复制数据,这又类似cp命令,但同样也优于cp命令,cp每次都是全量拷贝,而rsync可以增量拷贝。同样,rsync还可以实现删除文件或目录的功能,这又相当于rm命令。

         在同步备份数据时,默认情况下,Rsync通过其独特的“quick check”算法,它仅同步大小或者最后修改时间发生的文件或目录,当然也可根据权限,属主等属性的变化同步,但需要指定相应的参数,甚至可以实现只同步一个文件里有变化的内部部分,所有,可以实现快速的同步备份数据。

         提示:传统的cp,scp工具拷贝每次均为完整的拷贝,而rsync除了可以完整拷贝外,还具备增量拷贝的功能,因此,从同步数据的性能及效率上,rsync工具更胜一筹。

Rsync的工作方式:

第一种工作模式:local(类似于cp命令的功能)

测试如下:将t1目录下所有文件同步到 /tmp/目录下 

rsync -avz ./ /tmp/           //-avz:保持文件属性不变,此命令相当于cp

用t1目录将/tmp/目录清空,可以用--delete参数配合。(尽量不要用,危险)

rsync -avz --delete /null/ /tmp/    //-avz:保持文件属性不变,此命令相当于rm

第二种工作模式:remote shell (类似于scp命令功能)

push:
通过隧道远程备份: 将本机t1目录下所有文件同步到192.168.43.118机器/tmp/目录下。
rsync –avzP -e ‘ssh –p 22’ /t1/ [email protected]:/tmp         //-e通过隧道方式ssh 22端口模式

pull:

将192.168.43.118机器/tmp/目录下所有增量文件同步到192.168.43.117/t1/目录下。

在192.168.43.118机器/tmp/目录下新建一个118.log文件

将192.168.43.118机器/tmp/目录下所有增量文件同步到192.168.43.117/t1/目录下。

rsync –avzP -e ‘ssh –p 22’  [email protected]:/tmp/ /t1/     //-e通过隧道方式ssh 22端口模式

rsync –avzP /本地目录 –e ‘ssh –p 22’ [email protected]:/远端目录

rsync –avzP  –e ‘ssh –p 22’ [email protected]:/远端目录 本地目录

-P  :大写的,接端口,默认22端口时可以省略-P22

-r  :递归,表示拷贝目录

-p  :小写,表示在拷贝前后保持文件或目录属性。

-l   :limit 限制速度

------------------------------------------------------------------------------------------

第三种模式:以守护进程(socket)的方式传输数据(这个是rsync自身的重要的功能)

测试:服务端ip:192.168.43.200  客户端1ip:192.168.43.119 客户端2ip:192.168.43.118

rsync-server服务端配置:

①vi /etc/rsyncd.conf  添加如下代码↓↓↓↓↓↓

#Rsync server

#created by bqh 21:30 2018-12-05
#rsyncd.conf start
uid = rsync                                   //客户端连备份服务器具备rsync的用户权限
gid = rsync                                   //客户端连备份服务器具备rsync的用户权限
use chroot = no                            //程序出现bug会定向为一个空目录,安全方面。
max connections = 2000            //客户端连接数。一般设置大于连接数。
timeout = 600                             //设置客户端连接超时600秒,超时剔除。
pid file = /var/run/rsyncd.pid       //pid进程号
lock file = /var/run/rsync.lock     //锁文件
log file = /var/log/rsyncd.log      //rsync日志文件
ignore errors                            //忽略错误
read only = false                     //只读,true为可读写
list = false                                                   //可以远程列表
hosts allow = 192.168.43.0/24                 //允许什么网段访问
hosts deny = 0.0.0.0/32                            //一般局域网不用,公网可能用,但一般用vpn
auth users = rsync_backup                       //认证用户名,远程连接的用户。
secrets file = /etc/rsync.password             //存放用户和密码的文件,远程用户的密码
#####################################
[backup]                                                   //共享模块调用path服务
comment = backup server by bqhboy 21:40 2018-12-05
path = /backup                                        //共享目录地址

②创建一个虚拟用户: 

useradd rysnc –s /sbin/nologin –M

③创建共享目录及属主:
mkdir /bfserver chown –R rsync /bfserver

④给虚拟用户名设置密码并存放文件中: 
echo “rsync_bfserver:123456” >/etc/rsync.password

⑤给服务端虚拟用户密码文件设置权限:
chmod 600 /etc/rsync.password

⑥启动服务:rsync --daemon

查看服务:ss -lntup|grep rsync 
                netstat -lntup|grep rsync
                ps -ef|grep rsync|grep -v grep
                lsof -i :873

⑦加入开机自启动:

echo "rsync --daemon" >>/etc/rc.local
cat /etc/rc.local

客户端1配置如下:

①创建密码文件
echo "123" >/etc/rsync.password
cat /etc/rsync.password
chmod 600 /etc/rsync.password
ll /etc/rsync.password

②rsync

Push: 
rsync [OPTION...] SRC... [USER@]HOST::DEST
rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST

将客户端1/tmp/目录下所有文件推送到服务端/backup/目录下:

rsync -avz /tmp/ [email protected]::backup --password-file=/etc/rsync.password

从服务端backup目录下所有增量文件拉拽到客户端端/tmp/目录下:

 在服务端/backup/下新建一个增量文件4.txt

rsync -avz rsync://[email protected]/backup /tmp/ --password
-file=/etc/rsync.password

如果想每次访问用密码去掉  --password-file=/etc/rsync.password

③echo $?   //如果结果为0的话正确。

客户端2配置同客户端1(...具体略)

客户端rsync同步排除文件参数: --exclude

排除多个文件:

--exclude={a,b,c}

--exclude={a..c}

--exclued-from=paichu.log

--exclude=a  --exclude=b  --exclude=c

例如:

将客户端2/tmp/目录下所有文件(排除123.txt)推送到服务端/backup/目录下:

在服务端查看推送的文件如下:

-----------------------------------------------------------------------------------------------

无差异同步:  --delete  尽量不用此参数。

推送:本地有,远端就有;本地没有,删除远端独有的。备份远端数据

拉取:远端有,本地就有;远端没有,删除本地独有的。备份本地数据。

Rsync优点:

增量备份同步,支持socket(daemon模式),集中备份

Rsync缺点:

1.大量小文件时候同步的时候,比对时间较长,有的时候,rsync进程停止。

解决:a.打包大量小文件。  b.drbd(文件系统同步复制block)

2. 同步大文件,10G这样的大文件有时候也会有问题,中断,未完整同步前,是隐藏文件。同步完成后改为正常文件。

猜你喜欢

转载自www.cnblogs.com/su-root/p/10086190.html