标签为 Write-through 的文章

通过Apache Write-through proxy实现SVN Master-Slave主从架构

参考资料:
http://svnbook.red-bean.com/en/1.5/svn.serverconfig.httpd.html#svn.serverconfig.httpd.extra.writethruproxy

背景/环境:
目前有一台SVN服务器供全公司使用,但由于分公司数量的增加,且处于不同的地理区域的网络中,造成了以下问题:
1.部分分公司的网络状况不佳,每次更新和提交代码的时候都非常慢;
2.SVN服务器的压力越来越大;

同时,很多分公司的领导都提出,希望能在本地建立一台总部SVN服务器的镜像,提升访问速度;

方案/设计:
通过Apache的Write-through proxy使SVN服务器实现与MySQL Master-Slave类似的一主多从的架构。
如下图所示:

安装与配置:

1.安装配置Apache与Subversion - Master&Slave
注:以下操作需要在Master与Slave上进行

首先,需要安装和集成Apache与Subversion,具体的步骤可以参考我的这篇文章:
http://heylinux.com/archives/917.html
其中 第1段 和 第3段 分别讲述了Apache与Subversion的安装与配置方法。

2.检查Apache是否加载proxy与proxy_http模块 - Master&Slave
注:以下操作需要在Master与Slave上进行

# grep proxy /opt/apache2/conf/httpd.conf
如果出现以下内容,则表明加载成功:
LoadModule proxy_module modules/mod_proxy.so
LoadModule proxy_http_module modules/mod_proxy_http.so

如果没有出现,则需要通过以下方式添加:
进入Apache源码包的modules目录
# cd httpd-2.2.18/modules
# /opt/apache2/bin/apxs -c -i -a proxy/mod_proxy.c proxy/proxy_util.c
# /opt/apache2/bin/apxs -c -i -a proxy/mod_proxy_http.c

然后重启Apache使模块生效
# /opt/apache2/bin/apachectl restart

3.配置读写分离 - Slave
注:以下操作仅需要在Slave上进行

进入仓库的主目录
# cd /data/svn_repo

删除在第1步中创建的仓库
# rm -rf project1

创建新的空白仓库
# /opt/subversion/bin/svnadmin create project1

更改仓库目录的属主
# chown -R apache:apache project1/

创建pre-revprop-change钩子文件
# cd project1/hooks/
# cp -p pre-revprop-change.tmpl pre-revprop-change
# chmod +x pre-revprop-change

# vim pre-revprop-change
删除以下部分内容:

if [ "$ACTION" = "M" -a "$PROPNAME" = "svn:log" ]; then exit 0; fi

echo "Changing revision properties other than svn:log is prohibited" >&2
exit 1

更改Apache配置文件
# vim /opt/apache2/conf/extra/httpd-svn.conf

<Location /svn>
DAV svn
SVNListParentPath On
SVNParentPath /data/svn_repo
SVNMasterURI http://master.heylinux.com/svn  ##将master.heylinux.com替换为Master服务器的IP地址或域名
AuthType Basic
AuthName "Subversion Repository"
AuthUserFile /opt/subversion/conf/svn_passwdfile
AuthzSVNAccessFile /opt/subversion/conf/svn_accessfile
Require valid-user
</Location>

<Location /svn-proxy-sync>
DAV svn
SVNListParentPath On
SVNParentPath /data/svn_repo
Order deny,allow
Deny from all
Allow from 192.168.203.133  ##将192.168.203.133替换为Master服务器的IP地址
</Location>

配置详解:
首先,在>Location /svn>中加入 SVNMasterURI http://master.heylinux.com/svn 指定主SVN服务器的URL;
然后,创建一个新的>Location /svn-proxy-sync>,取消认证功能,并加入地址验证,仅允许来自Master的请求;这样,Master就可以通过 http://slave.heylinux.com/svn-proxy-sync/project1将代码同步到Slave中去,避免了直接提交到http://slave.heylinux.com/svn/project1后会产生死循环的问题;
虽然,我们平时使用的是Slave - http://slave.heylinux.com/svn/project1,但在commit的时候,代码会通过代理自动提交到Master - http://master.heylinux.com/svn/project1,然后再由Master同步到Slave中;
也就是说,我们在commit的时候,速度依然会受到与总公司Master服务器之间网络的影响,但是本着80%与20%的读写比例原理,大多数时间下,我们都是以update为主,而在执行Update动作的时候,我们的请求只会在Slave上,因此速度会很快。

4.配置镜像同步 - Master
注:以下操作仅需要在Master上进行

进入仓库的主目录
# cd /data/svn_repo

创建pre-revprop-change钩子文件
# cd project1/hooks/
# cp -p pre-revprop-change.tmpl pre-revprop-change
# chmod +x pre-revprop-change

# vim pre-revprop-change
删除以下部分内容:

if [ "$ACTION" = "M" -a "$PROPNAME" = "svn:log" ]; then exit 0; fi

echo "Changing revision properties other than svn:log is prohibited" >&2
exit 1

初始化镜像
# /opt/subversion/bin/svnsync init http://slave.heylinux.com/svn-proxy-sync/project1 file:///data/svn_repo/project1
执行后显示以下信息则表明成功:
Copied properties for revision 0.

注意:如果是绝对路径,file://后面还要加一个斜杠/,因此总共是三个斜杠,否则会出现以下错误:
svnsync: Unable to open an ra_local session to URL
svnsync: Local URL 'file://data/svn_repo/project1' contains unsupported hostname

进行初次同步
# /opt/subversion/bin/svnsync sync http://slave.heylinux.com/svn-proxy-sync/project1
执行后显示以下信息则表明成功:
Transmitting file data .........
Committed revision 1.

创建 post-commit 钩子文件
# cd /data/svn_repo/project1/hooks
# vim post-commit

#!/bin/sh
# Post-commit script to replicate newly committed revision to slaves
/opt/subversion/bin/svnsync sync http://slave.heylinux.com/svn-proxy-sync/project1 > /dev/null 2>&1

更新 pre-revprop-change 钩子文件
# vim pre-revprop-change

#!/bin/sh
# Post-revprop-change script to replicate revprop-changes to slaves

REV=${2}
/opt/subversion/bin/svnsync copy-revprops http://slave.heylinux.com/svn-proxy-sync/project1 ${REV} > /dev/null 2>&1

更改钩子文件的属主与权限
# chmod +x post-commit pre-revprop-change
# chown apache:apache post-commit pre-revprop-change

5.测试
配置完成,接下来便可以通过以下步骤检查是否搭建成功。
a. 从Slave上checkout - 从Master上checkout - 向Slave上commit - 到Master上update
b. 向Master上commit - 从Slave上udpate

如果向Slave提交的代码可以从Master上update下来,则表明Write-through proxy代理配置成功;
如果向Master提交的代码可以从Slave上update下来,则表明镜像同步配置成功;

6.其它
该文章中仅配置了一个Slave,如果在实际情况中需要配置多个Slave的话,只需要重复以上步骤并将Slave全部添加到Master的post-commit和pre-revprop-change钩子文件中即可。

,

11 Comments