关于 五月, 2014 的文章
Chronic Daily Headache
由 mcsrainbow 发表在 Corporation, English 分类,时间 2014/05/19
这几天加班加点的完成了一项关于CDH5的紧急任务,领导今天回复邮件:
Good job guys, you save me from having Chronic Daily Headache :)
英文的双关语与中文的双关语有着异曲同工之妙,中文通常是取“音”,英文也可以取“音”,但更多的是取“形”,比如上面的 Chronic Daily Headache 就与 CDH 双关。
PS:被表扬的感觉真不错,呵呵。
我吃一堑,你长一智 之 使用 .* 匹配文件与目录导致大错
由 mcsrainbow 发表在 Linux&Unix 分类,时间 2014/05/09
事故缘由:
在我的本地home目录下,为了修改所有隐藏文件的属性,使用了.*来匹配执行chown -R,结果导致了整个/home目录以及下面所有其它用户目录的属性都被修改了。最直接的后果就是导致所有其他的用户都无法登陆服务器了,因为我们采用了SSH Key。
而问题的根本原因在于,使用.*在Linux下匹配文件和目录时,.和..会被匹配到。
而即使是这样,那也不会导致问题吧?但事实上并非如此,因为对于/dir1/dir2/dir3/dir4/dir5这样的一个目录结构,.代表的当前目录为dir5,而..则代表上级目录dir4。
正所谓无图无真相,下面是我的相关操作步骤,可以清楚的看到使用.*匹配之后,直接修改了目录dir4与dir5的属性。
因此,正确的做法,应该使用正则表达式 .[^.]* 来精确匹配当前目录下的隐藏文件。
最后,我想试一下rm和mv会造成什么样严重的后果,却发现执行rm和mv在匹配.*时会进行保护,并不会造成问题。
开启ControlPersist来大幅度提升SSH的连接速度
由 mcsrainbow 发表在 Linux&Unix 分类,时间 2014/05/08
参考资料:
http://www.ptudor.net/linux/openssh/
http://jpmens.net/2012/06/22/ssh-controlmaster/
https://github.com/ClockworkNet/cmc
背景介绍:
目前,项目中服务器的配置管理已经全部从Puppet迁移到了Ansible,而之前一直认为不会带来困扰的SSH通道慢的问题则暴露的很明显了。
因为很多时候需要同时更新几百台服务器,有不少服务器与Ansible主机还不在同一个IDC机房。
无意间发现了一篇文章,提到开启SSH的ControlMaster并持久化socket连接,可以加速Ansible的执行速度,不需要在每次都经历SSH认证,单个服务器可能节约的时间仅在1秒左右,而上百台的服务器就能节省约1分钟左右的时间。
但开启这个功能,必须安装版本较新的openssh,而我们大部分主机都是CentOS6.4 x86_64,默认的版本太旧了并且官方yum仓库中的版本也很旧。
考虑到这个功能仅需要客户端的支持即可,不需要在每台服务器上都安装,我们就下载了最新的openssh源码包并打包成了RPM直接安装到了Ansible操作主机上。
服务器环境:
CentOS 6.4 x86_64 Minimal
1. 编译生成OpenSSH RPM
1.1 安装编译所需工具
$ sudo yum -y groupinstall “Development tools”
$ sudo yum -y install pam-devel rpm-build rpmdevtools zlib-devel krb5-devel tcp_wrappers tcp_wrappers-devel tcp_wrappers-libs
1.2 配置RPM编译环境
$ cd /home/dong.guo
$ mkdir rpmbuild
$ cd rpmbuild
$ mkdir -pv {BUILD,BUILDROOT,RPMS,SOURCES,SPECS,SRPMS,TMP}
$ cd /home/dong.guo
$ vim .rpmmacros
%_topdir /home/dong.guo/rpmbuild %_tmppath /home/dong.guo/TMP
1.3 升级OpenSSL到最新
$ sudo yum update openssl
1.4 编译OpenSSH RPM
1.4.1 下载源码包
$ cd /home/dong.guo/rpmbuild/SOURCES/
$ wget http://mirror.team-cymru.org/pub/OpenBSD/OpenSSH/portable/openssh-6.6p1.tar.gz
$ wget http://mirror.team-cymru.org/pub/OpenBSD/OpenSSH/portable/openssh-6.6p1.tar.gz.asc
$ openssl dgst -sha1 openssh-6.6p1.tar.gz; echo b850fd1af704942d9b3c2eff7ef6b3a59b6a6b6e
1.4.2 配置SPEC文件
$ cd /home/dong.guo/rpmbuild/SPECS
$ tar xfz ../SOURCES/openssh-6.6p1.tar.gz openssh-6.6p1/contrib/redhat/openssh.spec
$ mv openssh-6.6p1/contrib/redhat/openssh.spec openssh-6.6p1.spec
$ rm -rf openssh-6.6p1
$ sudo chown 74:74 openssh-6.6p1.spec
$ sed -i -e “s/%define no_gnome_askpass 0/%define no_gnome_askpass 1/g” openssh-6.6p1.spec
$ sed -i -e “s/%define no_x11_askpass 0/%define no_x11_askpass 1/g” openssh-6.6p1.spec
$ sed -i -e “s/BuildPreReq/BuildRequires/g” openssh-6.6p1.spec
1.4.3 编译生成RPM
$ cd /home/dong.guo/rpmbuild/SPECS
$ rpmbuild -ba openssh-6.6p1.spec
1.4.4 查看生成的RPM
$ cd /home/dong.guo/rpmbuild/RPMS/x86_64
$ ls openssh-*
openssh-6.6p1-1.x86_64.rpm openssh-clients-6.6p1-1.x86_64.rpm openssh-debuginfo-6.6p1-1.x86_64.rpm openssh-server-6.6p1-1.x86_64.rpm
1.4.5 安装生成的RPM
$ cd /home/dong.guo/rpmbuild/RPMS/x86_64
$ sudo rpm -e openssh-askpass
$ sudo rpm -e openssh-ldap
$ sudo rpm -Fvh openssh*6.6p1-1*rpm
Preparing... ########################################### [100%] 1:openssh ########################################### [ 33%] 2:openssh-clients ########################################### [ 67%] 3:openssh-server warning: /etc/ssh/sshd_config created as /etc/ssh/sshd_config.rpmnew ##################################### [100%]
1.4.6 更新SSH配置文件,避免某些参数变更造成无法远程登录
$ sudo cp /etc/ssh/sshd_config.rpmnew /etc/ssh/sshd_config
$ sudo /etc/init.d/sshd restart
1.4.7 查看已安装的RPM
$ sudo rpm -qa | grep openssh
openssh-clients-6.6p1-1.x86_64
openssh-server-6.6p1-1.x86_64
openssh-6.6p1-1.x86_64
2. 配置ControlMaster
$ cd /home/dong.guo
$ vim .ssh/config
Host * Compression yes ServerAliveInterval 60 ServerAliveCountMax 5 ControlMaster auto ControlPath ~/.ssh/sockets/%r@%h-%p ControlPersist 4h
3. 下载cmc工具用于管理sockets
$ cd ~
$ sudo yum install http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm
$ sudo yum install git
$ cd /home/dong.guo
$ mkdir bin
$ git clone https://github.com/ClockworkNet/cmc.git
$ cp cmc/cmc bin/
4. 使用与测试
4.1 查看当前的sockets
$ cmc -l
No ControlMaster connection sockets found.
4.2 统计第一次的执行时间
$ time ssh rainbow@heylinux.com ‘hostname -s’
ec2-tokyo real 0m9.486s user 0m0.017s sys 0m0.015s
耗时9.5秒
4.3 查看当前的sockets
$ cmc -l
heylinux.com Master running (pid=32857, cmd=ssh: /home/dong.guo/.ssh/sockets/rainbow@heylinux.com-22 [mux], start=19:19:05) Socket: /home/dong.guo/.ssh/sockets/rainbow@heylinux.com-22
4.4 统计有socket情况下的执行时间
$ time ssh rainbow@heylinux.com ‘hostname -s’
ec2-tokyo real 0m0.240s user 0m0.004s sys 0m0.005s
耗时0.24秒
4.5 删除当前所有的sockets
$ cmc -X
heylinux.com - Closing ControlMaster connection Exit request sent.
4.6 统计没有socket情况下的执行时间
$ time ssh rainbow@heylinux.com ‘hostname -s’
ec2-tokyo real 0m9.468s user 0m0.016s sys 0m0.017s
仍然是9.5秒
5. 结论
在开启了ControlMaster的持久化之后,SSH在建立了sockets之后,节省了每次验证和创建连接的时间。
在网络状况不是特别理想,尤其是跨互联网的情况下,所带来的性能提升是非常可观的,在上面的测试中节约了9秒。
而即使在局域网内部使用,每台服务器节省1秒左右的时间,同时操作上百台服务器时,节省的时间也是非常可观的,非常值得拥有。
近期评论(Recent Comments)
问题找到啦,非常感谢
感谢提供解决问题的思路。我的情况是因为文件有损坏,使用hotcopy 会出现“svnadmin: Can't open file '/SVN_PATH/db/revprops/24/24685'...
大神,您好。 你的博客 都是使用什么软件和主题搭建的哈?关注你的博客很久了。 也想自己搭建一个 总结 反思自己。谢谢大神...
int result = 0; for (int i = 0; i < 101; i++) { result ^= data[i]; ...
如果确认所有的表都是INNODB引擎,没有任何MyISAM表,还可以加上--no-lock参数。...
讲的不错, mark
答案无疑是本地端口转发了,它的命令格式是: ssh -L :: 原来是这个原理...