inotify-tools的安装和使用方法，使用inotify监控文件或目录变化
inotify是一种强大的、细粒度的、异步的文件系统事件监控机制，linux内核从 2.6.13 起，加入了inotify支持，通过inotify可以监控文件系统中添加、删除，修改、移动等各种细微事件，利用这个内核接口，第三方软件就可以监控文件系统下文件的各种变化情况，而inotify-tools就是这样的一个第三方软件。
inotify可用于检测单个文件，也可以检测整个目录。当检测的对象是一个目录的时候，目录本身和目录里的内容都会成为检测的对象。
1.优化inotify内核参数
在/proc/sys/fs/inotify目录下有max_queued_events、max_user_instances、max_user_watches这三个文件
max_queued_events：表示调用inotify_init时分配给inotify instance中可排队的event的数目的最大值，超出这个值的事件被丢弃，但会触发IN_Q_OVERFLOW事件。
max_user_instances：表示每一个用户可创建的inotify instatnces的数量上限，默认128。
max_user_watches：表示同一用户同时可以添加的watch数量
执行下面三行命令，把这三个文件的值都改大一点
echo 65535 > /proc/sys/fs/inotify/max_user_instances
echo 99999999 > /proc/sys/fs/inotify/max_queued_events
echo 99999999 > /proc/sys/fs/inotify/max_user_watches
2.安装inotify-tools
安装inotify-tools之前，先安装一下automake和libtool这两个依赖，不然编译安装inotify-tools的时候会报错。
yum install automake libtool -y
下载inotify-tools
wget https://github.com/inotify-tools/inotify-tools/archive/refs/tags/3.21.9.5.tar.gz
解压
tar -zxvf 3.21.9.5.tar.gz
进入解压后的目录
cd inotify-tools-3.21.9.5
生成编译文件
./autogen.sh
编译
./configure --prefix=/usr/local/inotify
安装
make && make install
软连接
ln -s /usr/local/inotify/bin/inotifywait /usr/bin/
ln -s /usr/local/inotify/bin/inotifywatch /usr/bin/
rsync实现文件增量同步
我这里演示两台服务器互相对/opt/rsync/test ，进行增量备份以达到实时增量同步的效果
172.22.254.85 rsync-test-A
172.22.254.86 rsync-test-B
rsync服务端配置
分别配置rsyncd.conf
172.22.254.85 rsync-test-A如下：
uid = root
gid = root
use chroot = no
max connections = 100
timeout = 600
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsyncd.lock
log file = /var/log/rsyncd.log
[rsync-test-A]
path = /opt/rsync/test
ignore errors
read only = no
list = no
#hosts allow = 192.0.2.0/255.255.255.0
auth users = root
secrets file = /etc/rsync.pass
172.22.254.86 rsync-test-B如下：
uid = root
gid = root
use chroot = no
max connections = 100
timeout = 600
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsyncd.lock
log file = /var/log/rsyncd.log
[rsync-test-B]
path = /opt/rsync/test
ignore errors
read only = no
list = no
#hosts allow = 192.0.2.0/255.255.255.0
auth users = root
secrets file = /etc/rsync.pass
分别创建secrets file
172.22.254.85 rsync-test-A如下：
echo "root:123456" > /etc/rsync.pass
创建密码文件用作密码验证
echo "123456" > /etc/tr.pass
172.22.254.86 rsync-test-B如下：
echo "root:123456" > /etc/rsync.pass
创建密码文件用作密码验证
echo "123456" > /etc/tr.pass
分别给配置文件密码文件授权
chmod 600 /etc/rsyncd.conf
chmod 600 /etc/rsync.pass
chmod 600 /etc/tr.pass
两台服务器启动rsyncd服务并开启开机自启
systemctl start rsyncd && systemctl enable rsyncd
echo "/usr/bin/rsync --daemon" >> /etc/rc.local
rsync客户端配置
172.22.254.85 rsync-test-A如下：
通过脚本模拟rsync客户端动作
mkdir -p /opt/rsync
touch /opt/rsync/rsync.sh && chmod +x /opt/rsync/rsync.sh
脚本内容：
#!/bin/bash
host1=172.22.254.86
src=/opt/rsync/test/
des1=rsync-test-B
user1=root
inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e modify,delete,create,attrib ${src} | while read file
do
rsync -avzP --delete --progress ${src} ${user1}@${host1}::${des1} --password-file=/etc/tr.pass &&
echo "${file} was rsynced" >> /opt/rsync/rsync.log 2>&1
echo "---------------------------------------------------------------------------"
done
172.22.254.86 rsync-test-B如下：
通过脚本模拟rsync客户端动作
mkdir -p /opt/rsync
touch /opt/rsync/rsync.sh && chmod +x /opt/rsync/rsync.sh
脚本内容：
#!/bin/bash
host1=172.22.254.85
src=/opt/rsync/test/
des1=rsync-test-A
user1=root
inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e modify,delete,create,attrib ${src} | while read file
do
rsync -avzP --delete --progress ${src} ${user1}@${host1}::${des1} --password-file=/etc/tr.pass &&
echo "${file} was rsynced" >> /opt/rsync/rsync.log 2>&1
echo "---------------------------------------------------------------------------"
done
分别后台启动脚本
nohup sh /opt/rsync/rsync.sh >> boot.log 2>&1 &
设置自动启动
echo "nohup sh /opt/rsync/rsync.sh >> boot.log 2>&1 &" >> /etc/rc.local
最后测试同步效果
rsync常用参数
-v：显示rsync过程中详细信息。可以使用"-vvvv"获取更详细信息。
-P：显示文件传输的进度信息。(实际上"-P"=“–partial --progress”，其中的"–progress"才是显示进度信息的)。
-n --dry-run ：仅测试传输，而不实际传输。常和"-vvvv"配合使用来查看rsync是如何工作的。
-a --archive ：归档模式，表示递归传输并保持文件属性。等同于"-rtopgDl"。
-r --recursive：递归到目录中去。
-t --times：保持mtime属性。强烈建议任何时候都加上"-t"，否则目标文件mtime会设置为系统时间，导致下次更新
：检查出mtime不同从而导致增量传输无效。-o --owner：保持owner属性(属主)。
-g --group：保持group属性(属组)。
-p --perms：保持perms属性(权限，不包括特殊权限)。
-D ：是"–device --specials"选项的组合，即也拷贝设备文件和特殊文件。
-l --links：如果文件是软链接文件，则拷贝软链接本身而非软链接所指向的对象。
-z ：传输时进行压缩提高效率。
-R --relative：使用相对路径。意味着将命令行中指定的全路径而非路径最尾部的文件名发送给服务端，包括它们的属性。用法见下文示例。
–size-only ：默认算法是检查文件大小和mtime不同的文件，使用此选项将只检查文件大小。
-u --update ：仅在源mtime比目标已存在文件的mtime新时才拷贝。注意，该选项是接收端判断的，不会影响删除行为。
-d --dirs ：以不递归的方式拷贝目录本身。默认递归时，如果源为"dir1/file1"，则不会拷贝dir1目录，使用该选项将拷贝dir1但不拷贝file1。
–max-size ：限制rsync传输的最大文件大小。可以使用单位后缀，还可以是一个小数值(例如：“–max-size=1.5m”)
–min-size ：限制rsync传输的最小文件大小。这可以用于禁止传输小文件或那些垃圾文件。
–exclude ：指定排除规则来排除不需要传输的文件。
–delete ：以SRC为主，对DEST进行同步。多则删之，少则补之。注意"–delete"是在接收端执行的，所以它是在
：exclude/include规则生效之后才执行的。
-b --backup ：对目标上已存在的文件做一个备份，备份的文件名后默认使用"~“做后缀。
–backup-dir：指定备份文件的保存路径。不指定时默认和待备份文件保存在同一目录下。
-e ：指定所要使用的远程shell程序，默认为ssh。
–port ：连接daemon时使用的端口号，默认为873端口。
–password-file：daemon模式时的密码文件，可以从中读取密码实现非交互式。注意，这不是远程shell认证的密码，而是rsync模块认证的密码。
-W --whole-file：rsync将不再使用增量传输，而是全量传输。在网络带宽高于磁盘带宽时，该选项比增量传输更高效。
–existing ：要求只更新目标端已存在的文件，目标端还不存在的文件不传输。注意，使用相对路径时如果上层目录不存在也不会传输。
–ignore-existing：要求只更新目标端不存在的文件。和”–existing"结合使用有特殊功能，见下文示例。
–remove-source-files：要求删除源端已经成功传输的文件。
rsyncd.conf配置文件详解
uid = nobody //运行RSYNC守护进程的用户
gid = nobody //运行RSYNC守护进程的组
use chroot = 0 //不使用chroot
max connections = 0 // 最大连接数,0为不限制
port = 873 //默认端口873
下面这些文件是安装完RSYNC服务后自动生成的文件
pid file = /var/run/rsyncd.pid //pid文件的存放位置
lock file = /var/run/rsync.lock //锁文件的存放位置.指定支持max connections参数的锁文件,默认值是/var/run/rsyncd.lock.
log file = /var/log/rsyncd.log //日志记录文件的存放位置
Timeout = 300
通过该选项可以覆盖客户指定的IP超时时间.通过该选项可以确保rsync服务器不会永远等待一个崩溃的客户端.超时单位为秒钟,0表示没有超时定义,这也是默认值.对于匿名rsync服务器来说,一个理想的数字是600.
Log format = %t %a %m %f %b
通过该选项用户在使用transfer logging可以自己定制日志文件的字段.其格式是一个包含格式定义符的字符串,可以使用的格式定义符如下所示：
%h 远程主机名
%a 远程IP地址
%l 文件长度字符数
%p 该次rsync会话的进程id
%o 操作类型：" send" 或" recv"
%f 文件名
%P 模块路径
%m 模块名
%t 当前时间
%u 认证的用户名(匿名时是null)
%b 实际传输的字节数
%c 当发送文件时,该字段记录该文件的校验码
默认log格式为：" %o %h [%a] %m (%u) %f %l" ,一般来说,在每行的头上会添加" %t [%p] " .在源代码中同时发布有一个叫rsyncstats的perl脚本程序来统计这种格式的日志文件.
#transfer logging = yes
使rsync服务器使用ftp格式的文件来记录下载和上载操作在自己单独的日志中.
syslog facility = local3
指定rsync发送日志消息给syslog时的消息级别,常见的消息级别是：uth, authpriv, cron, daemon, ftp, kern, lpr, mail, news, security, sys-log, user, uucp, local0, local1, local2, local3,local4, local5, local6和local7.默认值是daemon.
模块参数
[web1] //这里是认证的模块名,在client端需要指定
path = /data/www1/ //需要做镜像的目录,不可缺少！
comment = backup web //这个模块的注释信息
ignore errors //可以忽略一些无关的IO错误
read only = yes //该选项设定是否允许客户上载文件.如果为true那么任何上载请求都会失败,如果为false并且服务器目录读写权限允许那么上载是允许的.默认值为true.
list = no //不允许列文件
auth users = bak //认证的用户名,如果没有这行则表明是匿名,此用户与系统无关
该选项指定由空格或逗号分隔的用户名列表,只有这些用户才允许连接该模块.这里的用户和系统用户没有任何关系.如果" auth users" 被设置,那么客户端发出对该模块的连接请求以后会被rsync请求challenged进行验证身份这里使用的challenge/response认证协议.用户的名和密码以明文方式存放在" secrets file" 选项指定的文件中.默认情况下无需密码就可以连接模块(也就是匿名方式).
secrets file = /etc/www1.pwd //密码和用户名对比表,密码文件自己生成
该选项指定一个包含定义用户名:密码对的文件.只有在" auth users" 被定义时,该文件才有作用.文件每行包含一个username:passwd对.一般来说密码最好不要超过8个字符.没有默认的secures file名,需要限式指定一个(例如：/etc/www1.pwd).注意：该文件的权限一定要是600,否则客户端将不能连接服务器.
hosts allow = 192.168.9.0/255.255.255.0 //允许主机或网段
该选项指定哪些IP的客户允许连接该模块.客户模式定义可以是以下形式：
单个IP地址,例如：192.0.2.20
整个网段,例如：192.168.9.0/24,也可以是192.168.9.0/255.255.255.0
多个IP或网段需要用空格隔开,“*”则表示所有,默认是允许所有主机连接.
hosts deny = 0.0.0.0/0 //禁止主机
inotify 可以监视的文件系统事件包括：
IN_ACCESS，即文件被访问
IN_MODIFY，文件被 write
IN_ATTRIB，文件属性被修改，如 chmod、chown、touch 等
IN_CLOSE_WRITE，可写文件被 close
IN_CLOSE_NOWRITE，不可写文件被 close
IN_OPEN，文件被 open
IN_MOVED_FROM，文件被移走,如 mv
IN_MOVED_TO，文件被移来，如 mv、cp
IN_CREATE，创建新文件
IN_DELETE，文件被删除，如 rm
IN_DELETE_SELF，自删除，即一个可执行文件在执行时删除自己
IN_MOVE_SELF，自移动，即一个可执行文件在执行时移动自己
IN_UNMOUNT，宿主文件系统被 umount
IN_CLOSE，文件被关闭，等同于(IN_CLOSE_WRITE | IN_CLOSE_NOWRITE)
IN_MOVE，文件被移动，等同于(IN_MOVED_FROM | IN_MOVED_TO)
部分参数参考：
https://www.yisu.com/zixun/300759.html
https://blog.csdn.net/vic_qxz/article/details/103019771
https://www.zhiboblog.com/1784.html
