rsync下行同步+inotify实时同步部署

转x33g5p2x  于2021-12-21 转载在 其他  
字(9.2k)|赞(0)|评价(0)|浏览(126)

一.rsync

1.rsync简介

一款快速增量备份工具

  • Remote Sync，远程同步
  • 支持本地复制，或者与其他SSH、rsync主机同步
  • 官方网站：https://rsync.samba.org/

2.rsync服务器

  • rsync是一款开源的、快速的、多功能的、可实现全量及增量的本地或远程数据同步备份的优秀工具。并且可以不进行改变原有数据的属性信息，实现数据的备份迁移特性。
  • rsync软件适用于unix/linux/windows等多种操作系统平台
  • rsync是一个快速和非常同样的文件复制工具。它能本能复制，远程复制，或者远程守护进程方式复制，它提供了大量的参数来控制其行为的各个方面，并且允许非常灵活的方式来实现文件的传输复制
  • 以其delta-transfer算法闻名。
  • rsync监听端口：873
  • rsync运行模式：C/S

3.同步方式

  • 全量备份

  • 原有的数据全部传送

  • 把原来的文件和新的文件一起统一传送

  • 全量复制，效率低

  • 增量备份

  • 在传输数据之前通过一些算法通过你有的数据和我有的数据进行对比，把不一样的数据通过网络传输

  • 增量复制，效率高

A服务器同步B服务器的数据，B服务器就是备份源
反过来，B服务器同步A服务器的数据，那么A服务器就是备份源

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TIIRODoH-1640011104893)(C:\Users\oyyy\AppData\Roaming\Typora\typora-user-images\1639366483036.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-byfMjCMw-1640011104895)(C:\Users\oyyy\AppData\Roaming\Typora\typora-user-images\1639366295923.png)]

4.rsync命令

rsync [选项]  原始位置   目标位置
常用选项说明
-r递归模式，包含目录及子目录中的所有文件
-l对于符号链接文件仍然复制为符号链接文件
-v显示同步过程的详细信息
-z在传输文件时进行压缩
-a归档模式，递归并保留对象属性，等同于-rlptgoD
-p保留文件的权限标记
-t保留文件的时间标记
-g保留文件的属组标记（仅超级用户使用）
-o保留文件的属主标记（仅超级用户使用）
-H保留硬链接文件
-A保留ACL属性信息
-D保留设备文件及其他特殊文件
- -delete删除目标位置有而原始位置没有的文件
- -checksum根据对象的校验和来决定是否跳过文件

5.配置源的两种方法

格式一： 用户名@主机地址::共享模块名 
格式二： rsync://用户名@主机地址/共享模块名

二.本地复制操作（下行复制）

rsync:192.168.68.200
client:192.168.68.30

1.master:192.168.68.200

[root@master ~]# systemctl stop firewalld
[root@master ~]# setenforce 0
[root@master ~]# rpm -q rsync 
rsync-3.0.9-18.el7.x86_64
[root@master ~]# yum install -y httpd rsync

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XCztyo3y-1640011104896)(C:\Users\oyyy\AppData\Roaming\Typora\typora-user-images\1639320165963.png)]

[root@master ~]# vim /etc/rsyncd.conf 
uid = nobody
gid = nobody
use chroot = yes
address = 192.168.68.200
port 873
log file = /var/log/rsyncd.log
pid file = /var/run/rsyncd.pid
hosts allow = 192.168.68.0/24
[oyyy]
path = /var/www/html
comment = Document Root of www.oyyy.com
read only = yes
dont comperss = *.gz *.bz2 *.tgz *.zip *.rar *.z
auth users = oyyy
secrets file = /etc/rsyncd_users.db

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-X47uDncq-1640011104896)(C:\Users\oyyy\AppData\Roaming\Typora\typora-user-images\1639322082053.png)]

[root@master html]# vim /etc/rsyncd_users.db

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-74NVahUu-1640011104896)(C:\Users\oyyy\AppData\Roaming\Typora\typora-user-images\1639323939945.png)]

[root@master ~]# chmod 600 /etc/rsyncd_users.db 
[root@master ~]# rsync --daemon
[root@master ~]# netstat -natp |grep rsync
tcp        0      0 192.168.68.200:873      0.0.0.0:*               LISTEN      30618/rsync 
[root@master ~]# cd /var/www/html/
[root@master html]# touch a.html b.html

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0fcEbkUz-1640011104897)(C:\Users\oyyy\AppData\Roaming\Typora\typora-user-images\1639324049838.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nIkcwENS-1640011104897)(C:\Users\oyyy\AppData\Roaming\Typora\typora-user-images\1639324131161.png)]

2.client:192.168.68.30

[root@slave1 ~]# systemctl stop firewalld
[root@slave1 ~]# setenforce 0
[root@slave1 ~]# yum install -y rsync
[root@slave1 ~]# cd /opt/
[root@slave1 opt]# mkdir yibo
[root@slave1 opt]# chmod 777 yibo

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-saoYlPoR-1640011104898)(C:\Users\oyyy\AppData\Roaming\Typora\typora-user-images\1639324179658.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-xs1WyxYr-1640011104898)(C:\Users\oyyy\AppData\Roaming\Typora\typora-user-images\1639324260358.png)]

[root@slave1 opt]# vim /etc/server.pass

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-CdXhUtzP-1640011104898)(C:\Users\oyyy\AppData\Roaming\Typora\typora-user-images\1639324346244.png)]

[root@slave1 opt]# chmod 600 /etc/server.pass 
[root@slave1 opt]# rsync -az --delete --password-file=/etc/server.pass oyyy@192.168.68.200::oyyy /opt/yibo/
##rsync使用oyyy用户，密钥文件/etc/server.pass将192.168.68.200的共享模块文件进行压缩，归档同步至当前服务器的/opt/yibo 目录下并删除差异内容
[root@slave1 opt]# ls yibo/
a.html  b.html   ##查看yibo目录，下行同步成功

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-6i2a8fv4-1640011104899)(C:\Users\oyyy\AppData\Roaming\Typora\typora-user-images\1639324531165.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LQnJQ09X-1640011104899)(C:\Users\oyyy\AppData\Roaming\Typora\typora-user-images\1639324638111.png)]

三.inotify介绍

inotify是一种文件系统的变化通知机制。 如文件增加、删除等事件可以立刻让用户态得知 。

利用这一机制，可以非常方便地实现文件异动告警、增量备份，并针对目录或文件的变化及时作出响应。

将inotify机制与rsync相结合，可以实现触发式备份（实时同步)，即只要原始位置的文档发生变化，则立即启动增量备份操作;否则处于静默等待状态。这样，就避免了按固定周期备份时存在的延迟性、周期过密等问题。

inotifywait常用选项说明
-e用来指定要监控哪些事情
-m表示持续监控
-r表示递归整个目录
-q简化输出信息

四.resync+inotify实施同步操作

1.master:192.168.68.200

[root@master ~]# vim /etc/rsyncd.conf 
uid = nobody
gid = nobody
use chroot = yes
address = 192.168.68.200
port 873
log file = /var/log/rsyncd.log
pid file = /var/run/rsyncd.pid
hosts allow = 192.168.68.0/24
[oyyy]
path = /var/www/html
comment = Document Root of www.oyyy.com
read only = no  ##yes修改为no
dont comperss = *.gz *.bz2 *.tgz *.zip *.rar *.z
auth users = oyyy
secrets file = /etc/rsyncd_users.db
[root@master ~]# vim /etc/rsyncd.conf

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-c3QE5Y32-1640011104899)(C:\Users\oyyy\AppData\Roaming\Typora\typora-user-images\1639373565190.png)]

[root@master ~]# kill `cat /var/run/rsyncd.pid`
[root@master ~]# netstat -natp |grep rsync
[root@master ~]# rsync --daemon
[root@master ~]# netstat -natp |grep rsync
tcp        0      0 192.168.68.200:873      0.0.0.0:*               LISTEN      31606/rsync         
[root@master ~]# chmod 777 /var/www/html/

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-n4AuCKc7-1640011104900)(C:\Users\oyyy\AppData\Roaming\Typora\typora-user-images\1639325108664.png)]

2.client:192.168.68.30

[root@slave1 opt]# cat /proc/sys/fs/inotify/max_queued_events 
16384
[root@slave1 opt]# cat /proc/sys/fs/inotify/max_user_instances 
128
[root@slave1 opt]# cat /proc/sys/fs/inotify/max_user_watches 
8192

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tm3qYzri-1640011104900)(C:\Users\oyyy\AppData\Roaming\Typora\typora-user-images\1639325314955.png)]

[root@slave1 opt]# vim /etc/sysctl.conf ##优化inotify内核参数
fs.inotify.max_queued_events = 32768  
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 1048576
##加大三个参数的值
[root@slave1 opt]# sysctl -p ##加载内容参数配置文件
fs.inotify.max_queued_events = 32768
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 1048576

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mSIVhtJ7-1640011104900)(C:\Users\oyyy\AppData\Roaming\Typora\typora-user-images\1639325867481.png)]

[root@slave1 opt]# yum install -y gcc gcc-c++
[root@slave1 opt]# rz -E
rz waiting to receive.
[root@slave1 opt]# tar zxf inotify-tools-3.14.tar.gz 
[root@slave1 opt]# cd inotify-tools-3.14/
[root@slave1 inotify-tools-3.14]# ./configure 
[root@slave1 inotify-tools-3.14]# make && make install -j4

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DLrENbsG-1640011104901)(C:\Users\oyyy\AppData\Roaming\Typora\typora-user-images\1639325913070.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Sdj2Zq5z-1640011104901)(C:\Users\oyyy\AppData\Roaming\Typora\typora-user-images\1639326475792.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-m30zwvG5-1640011104901)(C:\Users\oyyy\AppData\Roaming\Typora\typora-user-images\1639326641222.png)]

[root@slave1 opt]# vim /opt/inotify.sh
#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e create,delete,move,modify,attrib /opt/yibo/"

RSYNC_CMD="rsync -azH --delete --password-file=/etc/server.pass /opt/yibo oyyy@192.168.68.200::oyyy"

$INOTIFY_CMD | while read DIRECTORY EVENT FILE
do
    if [ $(pgrep rsync | wc -l) -le 0 ] ; then
        $RSYNC_CMD
        fi
done
[root@slave1 opt]# chmod +x inotify.sh 
[root@slave1 opt]# ./inotify.sh &
[root@slave1 opt]# cd yibo/
[root@slave1 yibo]# ls
a.html  b.html
[root@slave1 yibo]# touch c.html
[root@slave1 yibo]# ls
a.html  b.html  c.html
[root@slave1 yibo]# rm -rf a.html
[root@slave1 yibo]# ls
b.html  c.html

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3PqBpWRM-1640011104902)(C:\Users\oyyy\AppData\Roaming\Typora\typora-user-images\1639326870356.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1oEppn2E-1640011104902)(C:\Users\oyyy\AppData\Roaming\Typora\typora-user-images\1639327218603.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-sSO5HiFL-1640011104902)(C:\Users\oyyy\AppData\Roaming\Typora\typora-user-images\1639327259660.png)]

3.master:192.168.68.200验证

[root@master ~]# cd /var/www/html/yibo/
b.html  c.html

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-thdcH5dc-1640011104903)(C:\Users\oyyy\AppData\Roaming\Typora\typora-user-images\1639327357334.png)]

但是，之前slave同步时会出现报错，是因为是以匿名用户身份登陆的

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-NK8u5jJ1-1640011104903)(C:\Users\oyyy\AppData\Roaming\Typora\typora-user-images\1639327425986.png)]

[root@master yibo]# vim /etc/rsyncd.conf 
uid = root  ##改为root
gid = root
use chroot = yes
address = 192.168.68.200
port 873
log file = /var/log/rsyncd.log
pid file = /var/run/rsyncd.pid
hosts allow = 192.168.68.0/24
[oyyy]
path = /var/www/html
comment = Document Root of www.oyyy.com
read only = no
dont comperss = *.gz *.bz2 *.tgz *.zip *.rar *.z
auth users = oyyy
secrets file = /etc/rsyncd_users.db

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JIYiTKqu-1640011104903)(C:\Users\oyyy\AppData\Roaming\Typora\typora-user-images\1639373495912.png)]

[root@master yibo]# kill `cat /var/run/rsyncd.pid`
[root@master yibo]# rsync --daemon
[root@master yibo]# ls
b.html  c.html

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-WL9jQed0-1640011104903)(C:\Users\oyyy\AppData\Roaming\Typora\typora-user-images\1639327561362.png)]

4.client:192.168.68.30

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Xzj5wtvU-1640011104904)(C:\Users\oyyy\AppData\Roaming\Typora\typora-user-images\1639327612213.png)]

5.master:192.168.68.200

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-KnZdvIVU-1640011104904)(C:\Users\oyyy\AppData\Roaming\Typora\typora-user-images\1639327645773.png)]

]

[root@master yibo]# kill `cat /var/run/rsyncd.pid`
[root@master yibo]# rsync --daemon
[root@master yibo]# ls
b.html  c.html

[外链图片转存中…(img-WL9jQed0-1640011104903)]

4.client:192.168.68.30

[外链图片转存中…(img-Xzj5wtvU-1640011104904)]

5.master:192.168.68.200

[外链图片转存中…(img-KnZdvIVU-1640011104904)]

版权说明 : 本文为转载文章, 版权归原作者所有 版权申明

原文链接 : https://blog.csdn.net/a568911/article/details/122052100

内容来源于网络，如有侵权，请联系作者删除！

linuxrsync服务器

相关文章

    查看更多
    微信公众号

    热门标签

    更多
    JavaquerypythonNode开发语言requestUtil数据库Table后端算法LoggerMessageElementParser

    最新文章

    更多
    • 蜀ICP备13028337号-1 大数据知识库 https://www.saoniuhuo.com © All rights reserved
    • 本站内容来源互联网,如果侵犯您的权益请联系我们删除, 联系方式：448109455@qq.com