rsync介绍

rsync是一款快速增量备份的工具
也可以实现远程同步，支持本地复制
是一款开源的，快速的，多功能的，可实现全量及增量的本地或远程数据同步备份的工具
它适用于多平台，例如Unix，linux，Windows
其中以delta-transfer算法出名
默认监听端口是873，运行模式是c/s

rsync同步方式

全量备份

将原有数据全部传送
把原来的文件和新文件一起统一传送
但是全量复制效率低
增量备份
在传输数据之前通过算法将两者之间的数据进行对比，把不一样的数据通过网络传输增量复制，效率更高

rsync参数命令

rsync后面可以跟很多参数，命令格式
rsync +参数原始位置目标位置

-r			//递归模式，包含目录及下面的子目录所有文件
-l			//对于符号链接文件仍然复制为符号链接文件
-v			//显示同步过程的详细信息
-z			//在传输文件时进行压缩
-a			//归档模式，递归并保留对象属性，等同于-rlptgoD
-p			//保留文件的权限标记
-t			//保留文件的时间标记
-g			//保留文件的属组标记（仅超级用户使用）
-o			//保留文件的属主标记（仅超级用户使用）
-H			//保留硬链接文件
-A			//保留ACL属性信息
-D			//保留设备文件及其他特殊文件
--delete	//删除目标位置有而原始位置没有的文件
--checksum	//根据对象的校验和来决定是否跳过文件

有两种格式书写方法
①用户名@主机地址::共享模块名
rsync -avz backup@192.168.1.5::wwwroot /root
②rsync://用户名@主机地址/共享模块名
rsync -avz rsync://backuper@192.168.1.5::/wwwroot /root

部署rsync服务器

实验环境
rsync ：192.168.1.102 //rsync服务器
client：192.168.1.103 //rsync客户端
先安装rsync，两台都要安装

[root@slave1 ~]# yum -y install rsync

然后在服务端修改rsync配置文件

[root@slave1 ~]# vim /etc/rsyncd.conf 
uid = nobody						//设置管理用户
gid = nobody						//设置管理组
use chroot = yes					//禁锢在源目录                                                
address = 192.168.1.102				//监听地址
port 873                     		//监听端口 tcp/udp 873，可通过cat /etc/services | grep rsync查看                                         
log file = /var/log/rsyncd.log		//日志文件位置                  
pid file = /var/run/rsyncd.pid		//存放进程ID的文件位置                  
hosts allow = 192.168.1.0/24		//允许访问的客户机地址
[wwwroot]   						//第一个共享模块                                                           
path = /var/www/html     			//源目录的实际路径                               
comment = Document Root of www.ljm.com	
read only = yes             		//是否为只读                                     
dont comperss = *.gz *.bz2 *.tgz *.zip *.rar *.z  	//同步时不再压缩的文件类型      
auth users = backuper           	//授权账户，多个账号以空格分隔                                 
secrets file = /etc/users.db 		//存放账户信息的数据文件

注：如果采用匿名的方式，只要将其中的 “auth users” 和 “secrets file”配置项去掉即可

然后为备份账户常见数据文件并给于权限

[root@slave1 ~]# vim /etc/user.db
backuper:abc123
[root@slave1 ~]# chmod +r /var/www/html/

[root@slave1 ~]# mkdir -p /var/www/html/
[root@slave1 ~]# chmod +r /var/www/html/
[root@slave1 ~]# ll -d /var/www/html/
drwxr-xr-x. 2 root root 6 11月 17 2020 /var/www/html/

启动rsync

[root@slave1 ~]# rsync --daemon
[root@slave1 ~]# netstat -natp | grep rsync
tcp        0      0 192.168.1.102:873       0.0.0.0:*               LISTEN      8053/rsync        		//默认端口

如何关闭rsync

[root@slave1 ~]# kill $(cat /var/run/rsyncd.pid)		//找到rsync在运行的进程号然后杀掉
[root@slave1 ~]# netstat -natp | grep rsync
或者
rm -rf /var/run/rsyncd.pid				//通过删除进程号文件来杀掉进程

在服务端先创建一个文件

[root@slave1 html]# echo "nihao" >> 1.txt

然后在客户端同步

[root@slave2 ~]# rsync -avz backuper@192.168.1.102::wwwroot abc/		//指定rsync服务器将模块wwwroot指定的源目录中的文件同步到本地的abc目录下
Password: 
receiving incremental file list
./
1.txt

sent 46 bytes  received 111 bytes  44.86 bytes/sec
total size is 6  speedup is 0.04
[root@slave2 ~]# cd abc/
[root@slave2 abc]# ls
1.txt

想要使用免交互的话需要在客户端上创建一个密码文件并赋值600

[root@slave2 html]# echo "abc123" > /etc/server.pass
[root@slave2 html]# chmod 600 /etc/server.pass

测试免密同步

[root@slave2 abc]# ls
[root@slave2 abc]# 
[root@slave2 abc]# rsync -avz --password-file=/etc/server.pass backuper@192.168.1.102::wwwroot abc/
receiving incremental file list
created directory abc
./
1.txt

sent 46 bytes  received 111 bytes  314.00 bytes/sec
total size is 6  speedup is 0.04

如果服务器上的文件被删了，客户端上文件还在，需要删除客户端上多余的文件，此时客户端上的文件就被删除了

[root@slave2 ~]# rsync -avz --delete --password-file=/etc/server.pass backuper@192.168.1.102::wwwroot abc
receiving incremental file list
deleting 1.txt

sent 20 bytes  received 40 bytes  120.00 bytes/sec
total size is 0  speedup is 0.00
[root@slave2 ~]# ls abc/
[root@slave2 ~]#

inotify介绍

inotify可以监控文件系统的变动情况，并做出通知响应
inotify内核参数

/etc/sysctl.conf
inotifywait：			//用于持续监控，实时输出结果
inotifywatch：			//用于短期监控，任务完成后再输出结果
max_queue_events    	//监控事件队列大小
max_user_instances  	//最多监控实例数
max_user_watches    	//每个实例最多监控文件数

其中inotifywait比较常用，常用参数

-m			//持续进行监控
-r			//递归监控所有子对象
-q			//简化输出信息
-e			//指定要监控哪些事件类型

部署rsync+inotify

先修改服务端rsync配置文件，修改三个参数

[root@slave1 html]# vim /etc/rsyncd.conf 
uid = root
gid = root
read only = no      //关闭只读，上行同步需要可写权限

然后重启rsync

[root@slave1 html]# kill `cat /var/run/rsyncd.pid`
[root@slave1 html]# rsync --daemon
[root@slave1 html]# netstat -natp | grep rsync
tcp        0      0 192.168.1.102:873       0.0.0.0:*               LISTEN      8548/rsync

在客户端上查看inotify内核参数，并修改之后重新加载参数

[root@slave2 ~]# cat /proc/sys/fs/inotify/max_queued_events
16384
[root@slave2 ~]# cat /proc/sys/fs/inotify/max_user_instances 
128
[root@slave2 ~]# cat /proc/sys/fs/inotify/max_user_watches 
8192
vim /etc/sysctl.conf 
fs.inotify.max_queued_events = 32768		//监控时间队列，默认为16384
fs.inotify.max_user_instances = 1024		//最多监控实例数，默认为128
fs.inotify.max_user_watches = 1048576		//每个实例最多监控文件数，默认为8192
[root@slave2 ~]# sysctl -p					//加载内核参数
fs.inotify.max_queued_events = 32768
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 1048576

注：当要监控的目录、文件数据量较多或者变化频繁时，建议加大参数值

客户端安装inotify-tools安装包解压并编译安装

[root@slave2 ~]# tar zxf inotify-tools-3.14.tar.gz 
[root@slave2 ~]# cd inotify-tools-3.14/
[root@slave2 inotify-tools-3.14]# ./configure 
[root@slave2 inotify-tools-3.14]# make && make install

测试监控效果，使用inotifywait命令

[root@slave2 inotify-tools-3.14]# inotifywait -mrq -e modify,create,move,delete /abc			//先监听abc目录变化

[root@slave2 ~]# rsync -avz --password-file=/etc/server.pass backuper@192.168.1.102::wwwroot /abc/		//复制一个窗口去服务器同步文件到abc下
receiving incremental file list
./
1.txt

sent 46 bytes  received 103 bytes  298.00 bytes/sec
total size is 0  speedup is 0.00

[root@slave2 inotify-tools-3.14]# inotifywait -mrq -e modify,create,move,delete /abc			//再看就会发现有了变化
/abc/ CREATE .1.txt.aeIsuD
/abc/ MOVED_FROM .1.txt.aeIsuD
/abc/ MOVED_TO 1.txt

我们可以在客户端写一个脚本来触发同步

[root@slave2 ~]# vim /opt/inotify.sh
#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e create,delete,move,modify,attrib /abc/"	//监控abc目录的各种操作
RSYNC_CMD="rsync -apzH --delete --password-file=/etc/server.pass  backuper@192.168.1.102::wwwroot/ abc"		//用来同步服务端的模块下目录中的文件到abc
$INOTIFY_CMD | while read DIRECTORY EVENT FILE
do
    if [ $(pgrep rsync | wc -l) -le 0 ] ; then		//查看rsync进程是否小于等于0个
        $RSYNC_CMD			//是就执行此函数
        fi
done

[root@slave2 ~]# chmod +x /opt/inotify.sh
[root@slave2 ~]# chmod +x /etc/rc.d/rc.local
[root@slave2 ~]# echo "/opt/inotify.sh" >> /etc/rc.d/rc.local

测试，先运行脚本，然后重新打开一个窗口并在abc下创建一个文件

[root@slave2 opt]# ./inotify.sh 

[root@slave2 abc]# ls		//在客户端创建文件
11.txt  12.txt  13.txt  1.txt  22.txt  23.txt
[root@slave1 html]# ls		//在服务端上查看
11.txt  12.txt  13.txt  1.txt  22.txt  23.txt