入门到精通rsync和inotify
rsync
作用：
实现文件的备份
备份位置可以是当前主机，也可以是远程主机
备份过程可以是完全备份，也可以是增量备份
功能：
1）类似于cp的复制功能
将本地主机的一个文件复制到另一个位置下
2）将本地主机的文件推送到远程主机： 也可以是从远程主机拉取文件到本地
使用模式：
shell模式：
就是本地复制
远程shell模式：
可以利用ssh来实现数据的加密传输到远程主机
服务器模式：
rsync工作在守护进程模式下
列表模式：
类似ls
确保各主机时间一致
ntp
补充：
实现文件实时同步
rsync+inotify
rsync+ sersync
rsync： 只负责传递文件到远程主机
inotify/sersync: 将发生了改变的文件找出来
rsync:
模式1：local（本地模式）
格式：rsync [选项] 源位置... [目的位置]
选项：
-p： 复制文件过程中，保持文件属性不变
-v: 显示复制过程信息
-a:使用归档模式 （如果复制目录必须使用此选项）
-z:在传输过程中，以压缩方式进行传输
模式2： 远程shell模式
格式：
Pull: rsync [选项...] [USER@]HOST:源地址... [目的地址]
Push: rsync [选项...] 源地址... [USER@]HOST:目的地址
push:
# rsync -avz -e "ssh" 1.txt root@192.168.1.102:/var/robot/video
sending incremental file list
1.txt
sent 91 bytes received 34 bytes 14.71 bytes/sec
total size is 20 speedup is 0.16
pull
# rsync -avz -e "ssh" root@192.168.1.102:/var/robot/video/1.txt /var/robot
receiving incremental file list
1.txt
sent 30 bytes received 84 bytes 32.57 bytes/sec
total size is 20 speedup is 0.18
补充：
说明：rsync: 在传递文件的时候，会首先对比源和目的下的文件的特征码，只有在特征码不同的时候，才会进行传递。
重点说明：
工作中通常都是用rsync+ssh密钥认证方式，目的是为了用免密登录。
# rsync -avz -e ssh root@192.168.1.102:/var/robot/video/ /var/robot/
receiving incremental file list
./
2.txt
sent 33 bytes received 102 bytes 90.00 bytes/sec
total size is 20 speedup is 0.15# echo "123123" >> 1.txt
# rsync -avz -e ssh root@192.168.1.102:/var/robot/video/ /var/robot/
receiving incremental file list
1.txt
sent 36 bytes received 112 bytes 98.67 bytes/sec
total size is 20 speedup is 0.14模式3：守护进程模式 daemon
案例：将web1，web2上的数据备份到backup上
准备：
关闭：
selinux
关闭防火墙
配置时间同步
关闭：selinux
#临时关闭
setenforce 0
#永久关闭
sudo sed -i 's/^SELINUX=enforcing/SELINUX=disabled/' /etc/sysconfig/selinux
#关闭防火墙
systemctl disable --now firewalld.service
#配置时间同步
ntpdate ntp1.aliyun.com
//也可以修改配置文件
vim /etc/ntp.conf第一步：配置backup上的rsync，让其工作在守护进程模式(配置服务器端)
1）修改配置文件 （若不存在创建）
#touch /etc/rsyncd.conf内容如下：
uid = rsync
gid = rsync
use chroot = yes
max connections = 4
timeout = 100
pid file = /var/lock/rsync.pid
lock file = /var/lock/rsync.lock
log file = /var/log/rsync.log
[mod]
path = /var/robot/video
read only = false
hosts allow = 192.168.1.0/24
auth users = vuser
secrets file = /var/robot/video/rsync.passwd
list = false2）创建相关目录
mkdir -p /var/robot/video3）创建运行rsync的系统用户
groupadd -r rsync
useradd -r -s /sbin/nologin -g rsync rsync4）启动rsync
~# rsync --daemon补充：
rsync默认配置文件/etc/rsyncd.conf
如果想使用其他位置配置文件，可以--config=/path/to/confiFile
rsync --daemon --config=/home/agc.conf5)检查rsync的端口 （默认873）
~# lsof -i :873
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
rsync 26152 root 5u IPv4 110834 0t0 TCP *:rsync (LISTEN)
rsync 26152 root 6u IPv6 110835 0t0 TCP *:rsync (LISTEN)6）创建虚拟用户文件，以及相关的虚拟用户
~# mkdir -p /var/robot/video
~# touch rsync.passwd
~# chmod 600 rsync.passwd （该文件的权限必须是600）
~# chown rsync.rsync rsync.passwd
~#chown -R rsync:rsync /var/robot/video
~#chmod 750 /var/robot/video
~# vim rsync.passwd
vuser:123123补充：
虚拟用户就是这个我文件中的记录
一个用户占一行，冒号前是用户名，冒号后是用户密码
第二部：配置客户端
1) 创建密码文件（权限要求为600）
echo "123123" > /etc/rsync.password
chmod 600 /etc/rsync.password2)用rsync来传递数据到服务器的端模块mod中
使用格式：
rsync [options] [user@]host::modulename /path
rsync [options] /path/ [user@]host::modulename
rsync -avz /var/robot/video vuser@host::mod --password-file=/etc/rsync.password
说明：
--password-file= 系统可以自动从该位置下指定的文件中读取密码
总结：
服务器端的配置
1，创建配置文件
2，创建密码文件，修改权限为600
3，创建系统用户
4，创建模块对应的目录，修改目录的属主，属组为系统用户
5，启动damon模式
客户端的配置
1，创建虚拟用户的密码文件，权限为600
2，向模块传递文件或者从目录拉取文件
如果出现错误
第一步; 检查日志
第二部： 检查selinux，iptables是否启动
第三步：检查虚拟用户的文件名称是否正确，权限是否正确
补充：
--delete：让客户端和服务器端的文件完全一致
--exclude：在进行文件传送的时候，排除指定的文件
排除实现方式（客户端）
方式一：排除一个文件
--exclude=file
方式二：排除多个文件
--exclude={file1，file2}
方式3：通配符的方式
排除实现方式（服务端）
在配置文件中添加一个关键字 exclude：这里指定要排除的文件列表，列表中的内容以空格为分隔符
例子：
exclude = a.txt b.txt c.txt
完全同步原理
在文件的传输过程中
发送方有的，会直接传输到接收方
发送方没有的，但是接收方有的文件，则会删除
rsyncd.conf的基本构成
全局参数
......
[模块1]
模块参数
. . . . . .
[模块2]
模块参数
. . . . . .
全局参数
pid file: 指定rsync进程的pid文件的路径和名称
lock file: 指定rsync进程的所文件的路径和名称
log file： rsync的日志文件路径和名称
uid：指定rsync进程以什么身份在后台运行，（必须是系统用户）
gid：指定用户组
模块参数 （可以写在全局部分，如果写在全局部分，则对所有的模块都生效）
path:指定备份目录的路径
use chroot: 是否将用户锁定在家目录中
max connections：指定可以进行同时连接的用户的最大数量
read only：true|false
write only：true|false
list=true|false：设置是否可以显示全部的模块列表
auth users：指定访问模块需要使用的用户名，这里的是虚拟用户（不是存在/etc/password)
secrets file: 指定保存虚拟用户名和密码的数据库文件
hosts allow：指定可以访问模块或者rsync服务器端的ip地址
hosts deny：黑名单
timeout：指定空闲超时时间
补充：
两个参数都没有的时候，那么所有用户都可以任意访问
只有allow，那么仅仅允许白名单的用户可以访问模块
只有deny，那么仅仅是黑名单的用户禁止访问模块
两个参数都存在，优先检查白名单
如果匹配成功，则允许访问
如果匹配失败，就去检查黑名单，如果匹配成功则禁止访问
如果都没匹配成功，则允许访问呢
文件实时同步
rsync+inotify
rsync+sersync
inotify
软件
功能：
可以监控指定目录下的文件
当文件发生了改变，则会触发事件，这样就可以输出触发事件的文件的信息
监控事件
创建
删除
修改
移动
epel
安装位置
客户端
应用程序：
/usr/bin/inotifywait： 真真实现我呢见监控程序
/usr/bin/inotifywatch： 数据统计
inotify+rsync
inotifywait
选项
-r： 递归，对目录中的子目录中的文件做监控
-q: 仅仅打印少量信息（仅仅打印监控的事件）
-m：一直处于监控状态（默认是在前台进行监控）
-d：守护进程的方式来运行（运行在后台）
-o file：将监控到的时间输出到文件中（默认是输出到标准输出）
-s：将错误信息输出到系统日志（默认是将错误·信息输出到标准输出)
--excludei：忽略文件的大小写
-e <event>: 指定要监控的事件
access: 访问事件
modify：编辑事件
attrib：修改文件属性事件（修改文件的源数据）
close_write: 当前文件从写模式关闭的时候，会触发该事件
close_nowrote: 当文件从只读模式下关闭的时候，会触发该事件
close：无论以什么方式打开文件，再关闭文件的时候，都会触发该事件
open：当文件被打开的时候，会触发该事件
moved——to：当一个文件被移动到该目录，就会触发该事件
moved_from：当一个文件，从监控目录下移走的时候，触发该事件
moved_self: 在监控目录下执行移动操作，就会触发该事件
move：只要发生了文件的移动，就会触发该事件
create：创建文件的事件
delete：删除文件的事件
-- timefmt <fmt>: 指定输出发生这个事件的时间点的显示格式
--format <ftm>: 指定的当发生事件以后所输出的信息，以及输出的个数
%f：记录发生事件的文件名
%w：记录发生事件的文件所在的目录的绝对路径
%e：记录发生事件的名称（如果有多个事件多个事件用空格分隔）
%xe：记录发生事件的名称（如果有多个事件，多个事件用X分隔）
%T：输出发生事件的时间（时间的格式由 --timefmt <fmt>)
实例：
@web1 ~]#inotifywait -mrq --timefmt "%F%T" --format "%T %w%f %e" -e create,delete,modify /var/robot/video/
@web1 video]# touch 1.txt
web1 ~]# inotifywait -mrq --timefmt "%F%T" --format "%T %w%f %e" -e create,delete,modify /var/robot/video/
2024-07-1915:11:58 /var/robot/video/1.txt CREATE
实时监控脚本如下：
#!/bin/bash
prog="inotifywait"
events="create,delete,modify,attrib"
iopt="-mrq"
lpath="/var/robot/video"
rhost="192.168.1.10"
user="vuser"
secfile="/etc/rsync.passwd"
ropt="-az"
modName="mod"
$prog $iopt --format "%w%f" -e $events $lpath | while read line
do
rsync $ropt $line $user@$rhost::$modName --password-file=$secfile
done主要：
在实际使用的时候，需要首先进行一次完全备份（rsync）
然后在执行脚本进行实时监控
