当前位置: 首页 > 工具软件 > Unison > 使用案例 >

linux 静态web服务器,linux web服务器静态资源的处理 unison+inotify双向同步

赵征
2023-12-01

最近研究高可用的方案,对于前端负载不大,所以采用了较为简单的 keepalived+nginx的方案。

在处理静态内容的时候发现两台web上的静态资源需要一致,于是研究使用了下unison,由于unison是需要触发点来触发的,便想到了使用 inotify来处理

过程如下:

一、两台机器:

192.168.11.11 vm1

192.168.11.12 vm2

inotify 原理链接:

建议完全阅读。

unison 官网:

二、编译安装Unison

Linux下通过源码包编译安装Unison时,需要用到Objective Caml compiler。

通过以下方式安装

[root@vm1 ~]# wgethttp://caml.inria.fr/pub/distrib/ocaml-3.12/ocaml-3.12.1.tar.gz

[root@vm1 ~]# tar -xzvf ocaml-3.12.1.tar.gz

[root@vm1 ~]# cd ocaml-3.12.1

[root@vm1 ~]# more INSTALL

[root@vm1 ocaml-3.12.1]# ./configure

[root@vm1 ocaml-3.12.1]# make world.opt

[root@vm1 ocaml-3.12.1]# make install

编译安装Unison

[root@vm1 ~]# wget http://www.seas.upenn.edu/~bcpierce/unison//download/releases/stable/unison-2.40.63.tar.gz

[root@vm1 ~]# tar -xzvf unison-2.40.63.tar.gz

[root@vm1 ~]# cd unison-2.40.63

[root@vm1 unison-2.40.63]# make UISTYLE=text

[root@vm1 unison-2.40.63]# make install

'''

在执行 make UISTYLE=text是可能会出现以下报错。是因为没有etags命令

可以使用 yum install ctags-etags解决。

make tags

make[1]: Entering directory `/root/work/unison-2.40.102'

if [ -f `which etags` ]; then \

etags *.mli */*.mli *.ml */*.ml */*.m *.c */*.c *.txt \

; fi

which: no etags in (/usr/local/rvm/gems/ruby-1.9.2-p320@web1/bin:/usr/local/rvm/gems/ruby-1.9.2-p320@global/bin:/usr/local/rvm/rubies/ruby-1.9.2-p320/bin:/usr/local/rvm/bin:/usr/bin:/bin:/usr/sbin:/sbin:/usr/local/sbin:/opt/nginx/sbin:/opt/keepalived/sbin:/usr/local/bin:/opt/nagios/bin:/opt/nagios/sbin:/opt/nagios/libexec:/home/dog/.rvm/bin:/home/dog/bin)

/bin/sh: line 1: etags: command not found

make[1]: [tags] Error 127 (ignored)

make[1]: Leaving directory `/root/work/unison-2.40.102'

在执行make install的过程中,可能会出现以下错误提示:

mv: cannot stat '/root/bin//unison': No such file ordirectory

make: [doinstall] Error 1 (ignored)

cp unison /root/bin/

cp: cannot create regular file '/root/bin/': Is a directory

make: *** [doinstall] Error 1

出现错误的原因在与Unison默认是将文件Copy到/root/bin目录,但Linux默认是没有该目录的,因此我们需要将生成的可执行文件unison复制到系统的PATH目录。'''

[root@vm1 unison-2.40.63]# cp unison /usr/local/bin

将可执行文件unison上传到远程主机192.168.11.12

[root@vm1 unison-2.40.63]# scp unisonroot@192.168.11.12:/root/

通过SSH登陆到远程主机,再将unison复制到vm2的PATH目录

[root@vm2 ~]#cp unison /usr/local/bin

三、配置ssh key信任

追加pubkey到authorized_keys,具体操作请自查。

四、生成unison目录和文件

在用户目录下使用unison指令

[root@vm1 ~]# unison /data/corp/ ssh://root@192.168.11.12//data/corp/

[root@vm2 ~]# unison /data/corp/ ssh://root@192.168.11.11//data/corp/

说明:

将本机的目录/data/corp和远端主机的/data/corp/进行同步。一般的,需要两台机能ssh连接。

注意

在主机和目录间又多加了一个 "/"

修改两台服务器的unison配置文件,输入以下内容

[unison@vm1 ~]$ vim /root/.unison/default.prf

root = /data/corp

root = ssh://root@192.168.11.12//data/corp/

batch = true

owner = true

group = true

perms = -1

fastcheck = false

rsync = false

sshargs = -C

xferbycopying = true

log = true

logfile = /root/.unison/unison.log

[unison@vm2 ~]$ vim /root/.unison/default.prf

root = /data/corp

root = ssh://root@192.168.11.11//data/corp/

batch = true

owner = true

group = true

perms = -1

fastcheck = false

rsync = false

sshargs = -C

xferbycopying = true

log = true

logfile = /root/.unison/unison.log

相关注解如下:

force表示会以本地所指定文件夹为标准,将该目录同步到远端。这里需要注意,如果指定了force参数,那么Unison就变成了单项同步了,也就是说会以force指定的文件夹为准进行同步,类似与rsync。

Unison双向同步基本原理是:假如有A B两个文件夹,A文件夹把自己的改动同步到B,B文件夹也把自己的改动同步到A,最后AB两文件夹的内容相同,是AB文件夹的合集。

Unison双向同步的一个缺点是,对于一个文件在两个同步文件夹中都被修改时,unison是不会去同步的,因为unison无法判断以那个为准。

ignore = Path表示忽略指定目录,即同步时不同步它。

batch = true,表示全自动模式,接受缺省动作,并执行。

-fastcheck true表示同步时仅通过文件的创建时间来比较,如果选项为false,Unison则将比较两地文件的内容。

log = true 表示在终端输出运行信息。

logfile 指定输出的log文件。

另外,Unison有很多参数,这里仅介绍常用的几个,详细的请参看Unison手册。

-auto //接受缺省的动作,然后等待用户确认是否执行。

-batch //batch mode, 全自动模式,接受缺省动作,并执行。

-ignore xxx //增加 xxx 到忽略列表中

-ignorecase [true|false|default] //是否忽略文件名大小写

-follow xxx //是否支持对符号连接指向内容的同步

owner = true //保持同步过来的文件属主

group = true //保持同步过来的文件组信息

perms = -1 //保持同步过来的文件读写权限

repeat = 1 //间隔1秒后,开始新的一次同步检查

retry = 3 //失败重试

sshargs = -C //使用ssh的压缩传输方式

xferbycopying = true"

-immutable xxx //不变目录,扫描时可以忽略

-silent //安静模式

-times //同步修改时间

-path xxx 参数 //只同步 -path 参数指定的子目录以及文件,而非整个目录,-path 可以多次出现。

需要注意的是如果要保持文件的源权限,需要使用chown可以修改的用户同步。

然后就是测试工作了:

[root@vm2 ~]# cd /data/corp ;touch monkey.txt

[root@vm1 ~]# cd ;unison ;cd /data/corp/;ls

可能出现的问题是在unison同步的时候 ,如果提示输入密码,需要做信任关系,如果是权限不对,注意用户的权限,还有是 lock文件 可以删除.unison/ara1da075598bd182a68b3563be920002b类似文件,再重新执行unison

五、自动化整个过程

当目录下有改变发生时自动执行unison同步,通知配置文件的改变

跟踪某些关键的系统文件的变化

监控某个分区磁盘的整体使用情况

系统崩溃时进行自动清理

自动触发备份进程

向服务器上传文件结束时发出通知

以上为inotify截取。

inotify工具安装:

wget 'http://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz'

tar -zxvf inotify-tools-3.14.tar.gz

cd inotify-tools-3.14

./configure

make && make install

安装完成执行下inotifywait提示 No files specified to watch!就ok了

编写脚本,如下

#!/bin/bash

#note:the script used to sync the ftp'data

#  use tools(linux inotify,unison)

#author:monkeyzhu 2013-11-12

/usr/local/bin/inotifywait -mrq -e create,delete,modify,move /data/corp/|while read line

do

ssh root@192.168.11.12 'cd /root;unison'

echo "`date `sync successful">>/root/script/ftp_static_sync.log

done

当/data/corp目录下的文件发生create,delete,modify,move操作时会执行while内语句。结束任务时kill该进程。

执行脚本后,到目录下执行touch操作,查看另一台文件夹的内容。

 类似资料: