WEB·攻城志

        这是金山逍遥团队贡献的一个开源软件sersync，主要用于服务器同步，web镜像等功能。基于boost1.41.0,inotify api,rsync command.开发。

测试环境 CentOS，ubuntu。

源码地址:

http://code.google.com/p/sersync/
    目前使用的比较多的同步程序版本是inotify-tools，另外一个是google开源项目Openduckbill（依赖于inotify- tools），这两个都是基于脚本语言编写的，其设计思路同样是采用inotify与rsync命令。 相比较上面两个项目，本项目优点是：
1.sersync是使用c++编写，而且对linux系统文件系统产生的临时文件和重复的文件操作进行过滤（我稍后会提到），所以在结合rsync同步的时候，节省了运行时耗和网络资源。因此更快。
2.相比较上面两个项目，sersync配置起来很简单:在http://code.google.com/p/sersync/downloads /list 处下载源码（分为32版本，与64位版本），其中bin目录下已经有我编译好的2进制文件，配合bin目录下的xml文件直接使用即可。
3.另外本项目相比较其他脚本开源项目，使用多线程进行同步，尤其在同步较大文件时，能够保证多个服务器实时保持同步状态。
4.本项目自带出错处理机制，通过失败队列对出错的文件重新出错，如果仍旧失败，则每10个小时对同步失败的文件重新同步。
5.本项目自带crontab功能，只需在xml配置文件中开启，即可按您的要求，隔一段时间整体同步一次。
6.本项目自带socket与http协议扩展，满足您二次开发的需要。

基本架构：

   利用inotify与rsync对服务器进行实时同步，其中inotify用于监控文件系统事件，rsync是目前广泛使用的同步算法，其优点是只对文件不同的部分进行操作，所以其优势大大超过使用挂接文件系统的方式进行镜像同步。

设计简析

   如上图所示，线程组线程是等待线程队列的守护线程，当队列中有数据的时候，线程组守护线程逐个唤醒，当队列中inotify事件交多的时候就会被全部唤醒一起工作。这样设计的目的是能够同时处理多个inotify事件，重发利用服务器的并发能力（核数*2+2）。

   之所以称之为线程组线程，是因为每个线程在工作的时候，会根据服务器的数量建立子线程，子线程可以保证所有的文件与各个服务器同时同步，当要同步的文件较大的时候，这样设计可以保证各个远程服务器可以同时获得要同步的文件。

   服务线程 的作用有三个，首先是处理同步失败的文件，将这些文件再次同步，对于再次同步失败的文件会生成rsync_fail_log.sh脚本，记录失败的事件。 同时每隔10个小时执行脚本一次，同时清空脚本。服务线程的第三个作用是crontab功能，可以每隔一定时间，将所有路径整体同步一次。

   过滤队列的建立是为了过滤短时间内产生的重复的inotify信息，例如在删除文件夹得时候，inotify就会同时产生删除文件夹里的文件与删除文件夹 得事件，通过过滤队列当删除文件夹事件产生的时候，会将之前加入队列的删除文件的事件全部过滤掉，这样只产生一条事件减轻了同步的负担。同时对于修改文件 的操作的时候，会产生临时文件与重复操作。

原文：http://blog.csdn.net/zhoukunta/archive/2010/01/27/5261800.aspx