rsync + inotify реализуют двустороннюю автоматическую синхронизацию файлов в режиме реального времени.

Linux Эксплуатация и техническое обслуживание

Для получения дополнительных технических статей, пожалуйста, следуйте:GitHub.com/Делайте это с душой/Особые…

В то же время, вы также можете обратить внимание на мой публичный аккаунт WeChat AlwaysBeta, вас ждет более интересный контент.

Введение

С постоянным расширением масштаба системы приложений также выдвигаются более высокие требования к безопасности и надежности данных, и rsync постепенно выявил многие недостатки в бизнес-системах высокого класса.

Прежде всего, когда rsync синхронизирует данные, он должен сканировать все файлы и сравнивать их для дифференциальной передачи. Если количество файлов составляет порядка миллионов или даже десятков миллионов, сканирование всех файлов будет занимать очень много времени, и часто изменяется очень небольшое их количество, что является очень неэффективным способом.

Во-вторых, rsync не может отслеживать и синхронизировать данные в режиме реального времени.Хотя он может запускать синхронизацию через процесс демона linux, между двумя действиями триггера должна быть разница во времени, что может привести к несогласованности данных между сервером и клиентом.Полное восстановление данных в случае сбоя приложения.

Основываясь на двух вышеуказанных ситуациях, для решения проблемы можно использовать комбинацию rsync+inotify, которая может реализовать синхронизацию данных в реальном времени.

inotify — это мощный, точный асинхронный механизм управления событиями файловой системы. Ядро Linux добавило поддержку inotify начиная с версии 2.6.13. С помощью inotify вы можете отслеживать различные события, такие как добавление, удаление, изменение и перемещение в файловой системе.Используя этот интерфейс ядра, стороннее программное обеспечение может отслеживать различные изменения файлов в файловой системе, а inotify-tools — это программное обеспечение. который осуществляет мониторинг. После использования rsync для первой полной синхронизации в сочетании с inotify для мониторинга исходного каталога в режиме реального времени, если есть изменения файлов или новые файлы, он будет немедленно синхронизирован с целевым каталогом, что очень эффективно и практично.

rsync

Установить

yum -y install rsync

Установка исходного кода здесь не представлена.

Общие параметры

-v :展示详细的同步信息
-a :归档模式，相当于 -rlptgoD
-r :递归目录
-l :同步软连接文件
-p :保留权限
-t :将源文件的"modify time"同步到目标机器
-g :保持文件属组
-o :保持文件属主
-D :和--devices --specials一样，保持设备文件和特殊文件
-z :发送数据前，先压缩再传输
-H :保持硬链接
-n :进行试运行，不作任何更改
-P same as --partial --progress
    --partial :支持断点续传
    --progress :展示传输的进度
--delete :如果源文件消失，目标文件也会被删除
--delete-excluded :指定要在目的端删除的文件
--delete-after :默认情况下，rsync是先清理目的端的文件再开始数据同步；如果使用此选项，则rsync会先进行数据同步，都完成后再删除那些需要清理的文件。
--exclude=PATTERN :排除匹配PATTERN的文件
--exclude-from=FILE :如果要排除的文件很多，可以统一写在某一文件中
-e ssh :使用SSH加密隧道传输

развернуть с помощью

  • Сервер А: 192.168.0.1
  • Сервер Б: 192.168.0.2

Здесь есть два Linux-сервера, мы можем сначала предположить, что A — это сервер, а B — клиент.

1. Конфигурация сервера:

Измените файл конфигурации сервера:/etc/rsyncd.conf, содержание следующее:

# rsync 守护进程的用户
uid = www
# 运行 rsync 守护进程的组
gid = www
# 允许 chroot，提升安全性，客户端连接模块，首先 chroot 到模块 path 参数指定的目录下，chroot 为 yes 时必须使用 root 权限，且不能备份 path 路径外的链接文件
use chroot = yes
# 只读
read only = no
# 只写
write only = no
# 设定白名单，可以指定IP段（172.18.50.1/255.255.255.0）,各个Ip段用空格分开
hosts allow = 192.168.0.2
hosts deny = *
# 允许的客户端最大连接数
max connections = 4
# 欢迎文件的路径，非必须
motd file = /etc/rsyncd.motd
# pid文件路径
pid file = /var/run/rsyncd.pid
# 记录传输文件日志
transfer logging = yes
# 日志文件格式
log format = %t %a %m %f %b
# 指定日志文件
log file = /var/log/rsync.log
# 剔除某些文件或目录，不同步
exclude = lost+found/
# 设置超时时间
timeout = 900
ignore nonreadable = yes
# 设置不需要压缩的文件
dont compress   = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2

# 模块，可以配置多个
[sync_file]
# 模块的根目录，同步目录，要注意权限
path = /home/test
# 是否允许列出模块内容
list = no
# 忽略错误
ignore errors
# 添加注释
comment = ftp export area
# 模块验证的用户名称，可使用空格或者逗号隔开多个用户名
auth users = sync
# 模块验证密码文件 可放在全局配置里
secrets file = /etc/rsyncd.secrets

редактировать/etc/rsyncd.secretsфайл со следующим содержимым:

### rsyncd.secrets 文件的配置
# 用户名:密码
sync:123456

редактировать/etc/rsyncd.motdфайл со следующим содержимым:

### rsyncd.motd  文件配置
++++++++++++++++++
sync zhang : rsync start
++++++++++++++++++

Чтобы установить права доступа к файлам, этот шаг необходим:

chmod 600 /etc/rsyncd.secrets

запускать:

rsync --daemon --config=/etc/rsyncd.conf

Добавить загрузочный автозапуск:

echo 'rsync --daemon --config=/etc/rsyncd.conf' >> /etc/rc.d/rc.local

2. Конфигурация клиента:

Создать файл паролей/etc/rsyncd.pass, вы можете напрямую написать пароль, содержание выглядит следующим образом:

### rsyncd.pass 文件的配置
123456

Чтобы установить права доступа к файлам, этот шаг необходим:

chmod 600 /etc/rsyncd.pass

Теперь вы можете выполнять команды на стороне клиента для синхронизации файлов.

Синхронизировать данные с сервера => клиента:

rsync -avzP --delete sync@192.168.0.1::sync_file /home/test --password-file=/etc/rsyncd.pass

Синхронизировать данные с клиента => сервера:

rsync -avzP --delete /home/test sync@192.168.0.1::sync_file --password-file=/etc/rsyncd.pass

На данный момент настроен rsync.Если вы хотите добиться двусторонней синхронизации, вам нужно только настроить B в качестве сервера и A в качестве клиента и запустить соответствующие службы соответственно.

Далее, inotify отслеживает изменения файлов для достижения синхронизации в реальном времени.

inotify

Установить

yum install -y inotify-tools

Общие параметры

1. Описание параметра Inotifywait:

-m,–monitor：始终保持事件监听状态   # 重要参数
-r,–recursive：递归查询目录     # 重要参数
-q,–quiet：只打印监控事件的信息     # 重要参数
–excludei：排除文件或目录时，不区分大小写
-t,–timeout：超时时间
–timefmt：指定时间输出格式  # 重要参数
–format：指定时间输出格式       # 重要参数
-e,–event：后面指定删、增、改等事件 # 重要参数

2. Описание событий inotifywait:

access：读取文件或目录内容
modify：修改文件或目录内容
attrib：文件或目录的属性改变
close_write：修改真实文件内容   # 重要参数
close_nowrite：文件或目录关闭，在只读模式打开之后关闭的
close：文件或目录关闭，不管读或是写模式
open：文件或目录被打开
moved_to：文件或目录移动到
moved_from：文件或目录从移动
move：移动文件或目录移动到监视目录  # 重要参数
create：在监视目录下创建文件或目录  # 重要参数
delete：删除监视目录下的文件或目录  # 重要参数
delete_self：文件或目录被删除，目录本身被删除
unmount：卸载文件系统

Общие команды

1. Создайте событие

inotifywait -mrq  /data --timefmt "%d-%m-%y %H:%M" --format "%T %w%f 事件信息: %e" -e create

2. Удалить событие

inotifywait -mrq  /data --timefmt "%d-%m-%y %H:%M" --format "%T %w%f 事件信息: %e" -e delete

3. Изменить событие

inotifywait -mrq  /data --timefmt "%d-%m-%y %H:%M" --format "%T %w%f 事件信息: %e" -e close_write

Мониторинг скриптов

#!/bin/bash

Path=/home/test
Server=192.168.0.2
User=sync
module=sync_file

monitor() {
  /usr/bin/inotifywait -mrq --format '%w%f' -e create,close_write,delete $1 | while read line; do
    if [ -f $line ]; then
      rsync -avz $line --delete ${User}@${Server}::${module} --password-file=/etc/rsyncd.pass
    else
      cd $1 &&
        rsync -avz ./ --delete ${User}@${Server}::${module} --password-file=/etc/rsyncd.pass
    fi
  done
}

monitor $Path;

Непосредственно запуская скрипт в фоновом режиме, вы можете отслеживать изменения файлов, тем самым реализуя синхронизацию файлов между серверами.

Итак, что, если вы хотите синхронизировать несколько каталогов? Единственный способ, который я могу придумать, это написать несколько сценариев оболочки, каждый из которых отвечает за каталог, но я всегда чувствую, что этот метод не очень хорош, каково ваше мнение?

Справочная статья:

у-у-у. Краткое описание.com/afraid/Baidu 3 ах ой 9 из 80…
Woohoo Мэн Чжаосюй Следующая остановка/2018/12/24/…
Блог woohoo.cn на.com/big Berg/afraid/7…
cloud.Tencent.com/developer/ ах…
blog.CSDN.net/Чэн Хуйкай…
Woohoo. От имени цвета EVO PS. Talent/2018/08/23/…

Категории