关于 六月, 2011 的文章

一起诡异的Crontab事件定位 - 所有计划任务被意外清空

今天,我接到了一位同事的电话,说有一个严重的问题需要处理,“所有的Crontab计划任务都被人清空了”。
我立刻问有没有备份,回答是“可能没有”。这样一来,情况就变得非常紧急了,因为我们每天在跑的计划任务有上百条。

于是我登陆到服务器,检查了所有相关的日志,最后终于找到了事故的原因,并且恢复了Crontab计划任务。

事故原因:
如果我们在SSH远程终端中敲下“crontab”命令之后,远程连接被一些原因(比如 糟糕的网络,程序异常)意外终止了,那么Crontab计划任务就会被操作系统所清空。
听起来很不可思议,但是经过在虚拟机上的多次测试,它确确实实的发生了。
测试方式为 用SecureCRT开一个SSH窗口,然后敲下命令“crontab”,接着在“任务管理器”中直接杀掉SecureCRT进程,再通过另外一个SSH窗口执行“crontab -l”,就会发现,所有的计划任务都不存在了。
在今天事故发生的时间点上,就有人在服务器上遇到了这样的情况。

计划任务的恢复:
很幸运的,在一个目录下我找到了一个近期的备份文件,因此得以恢复。
但我们不能指望有这样的好运气存在,因此一个可行的恢复方案是通过crontab日志文件 /var/log/cron 来进行,将其中所有的执行内容提取出来,找到执行的时间规律,从而达到恢复的目的。

反思:
首先,应该立刻对所有服务器上的计划任务进行备份;
其次,应该养成好的习惯,在执行修改操作前对其备份(其实在对任何文件的修改操作前都应该这样做);
其实在计划任务比较多的时候,使用更专业的工具来管理要更合适一些,这方面的推荐软件有hudson以及它的后续版本Jenkins。

下面是一些操作过程中的笔记:
---------------------------------------------------------------------------
[root@server~]# last
……
user2 pts/2 111.112.113.114 Sat Jun 25 09:02 - 09:18 (00:15)
user1 pts/1 111.112.113.115 Sat Jun 25 09:00 - 09:10 (00:10)
user2 pts/0 111.112.113.114 Sat Jun 25 08:57 - 09:18 (00:20)
……

[root@server cron]# ll
……
-rw------- 1 root root 0 Jun 25 09:18 root
……

[root@server ~]# less /var/log/secure
……
Jun 25 09:18:04 server crontab[3609]: (root) REPLACE (root)
Jun 25 09:19:01 server crond[16791]: (root) RELOAD (cron/root)
……

[root@server ~]# less /home/user2/.bash_history
……
exit
su
su
exit
exit
……

[root@server ~]# less /root/.bash_history
……
crontab
crontab -l
……

[root@server user2 ]# ll
……
-rw-r--r-- 1 root root 10628 Jun 15 13:59 crontab.bak
……

---------------------------------------------------------------------------

1 Comment

通过expect脚本远程批量管理服务器[原创实践]

自从工作性质从以前的集成项目支撑转为现在的服务器运维之后,手里所负责的服务器数量也变的相当多了。
所以免不了做许多重复的琐碎工作,特别是针对同一个集群下的相同类型的服务器,操作步骤等等都完全相同,虽然已经通过rsync将shell脚本放到每台服务器上再执行的方式来简化工作,但还是需要重复的进行登陆,况且很多时候只是想执行一条简单的口令,并查看结果。

因此,我了解了一些关于批量管理服务器方面的知识,在这方面比较知名的有Puppetfunc,其中Puppet在全世界很多著名互联网公司都得到了应用。但要学习并部署好这样的系统还是需要一些时间的,而且还涉及到对每台服务器的更改,主要是软件的安装配置。

为了能够快速解决眼前的问题,我查询了一些expect脚本相关的资料,它可以用来处理交互式的命令,因此可以用来实现自动登录和执行命令,并将执行结果打印到log文件中。下面是我在生产环境中得到成功应用的一个expect脚本,为了让它更具有复用性,我将需要管理的主机和命令都写到了配置文件中,通过脚本读取的方式来执行。

整个脚本的构成如下:

其中,
config目录下存放的是commands.txt批处理命令与hosts.txt服务器配置列表;
log目录下存放的是运行的日志信息;
ssh-key目录下存放的是ssh私钥文件,权限必须为600;
expect-run.exp是expect脚本文件,需要可执行权限;
main-shell.sh是主执行程序,需要可执行权限,通过./main-shell.sh执行,用于从hosts文件循环取值并调用expect脚本。

整个脚本内容可通过这里下载:http://heylinux.com/download/shell-expect-remote.tgz

下面,我将配置文件与脚本的相关内容展示给大家:

main-shell.sh

#!/bin/bash

for i in `cat config/hosts.txt`
do
	export server=`echo $i | awk -F "|" '{print $1}'`
	export port=`echo $i | awk -F "|" '{print $2}'`
	export user=`echo $i | awk -F "|" '{print $3}'`
	export passwd=`echo $i | awk -F "|" '{print $4}'`
	export rootpasswd=`echo $i | awk -F "|" '{print $5}'`
	
	export cmdfile="config/commands.txt"

	./expect-run.exp $server $port $user $passwd $rootpasswd $cmdfile
done

expect-run.exp

#!/usr/bin/expect -f
# heylinux.com

# Check
if { $argc<6 } {
        send_user "usage: $argv0 <server> <port> <user> <passwd> <rootpasswd> <cmdfile> \n"
        exit
}

# TIMEOUT
set timeout 20

# Login parameters
set server [lindex $argv 0]
set port [lindex $argv 1]
set user [lindex $argv 2]
set passwd [lindex $argv 3]
set rootpasswd [lindex $argv 4]
set cmdfile [ open [lindex $argv 5] ]

# Logfile
log_file log/run.log

# Login Server
spawn ssh -p $port $user@$server

## Enable this and Disable the "spawn ssh ..." above if you are using ssh-key.
#spawn ssh -i ssh-key/Identity.ppk -p $port $user@$server

expect {
	"yes/no)?\ " {send "yes\r";exp_continue}

	"*assword:\ " {send "$passwd\r"}

## Disable the "*assword:\ ..." above if you are using ssh-key, and Enable this if your ssh-key has passphrase.
#	"Identity.ppk':\ " {send "$passwd\r"}
}

# Login as Root
expect "*]$\ " {send "su - root\r"}
expect "*assword:\ " {send "$rootpasswd\r"}

# Run Commands
expect "*]#\ " {
	while {[gets $cmdfile cmd] >= 0} {
		send "$cmd\r"
		}
}

# Exit Root
expect "*]#\ " {send "exit\r"}

# Exit User
expect "*]$\ " {send "exit\r"}

# Close File
close $cmdfile

# Exit Expect
expect eof

hosts.txt

192.168.10.200|22|username|userpasswd|rootpasswd
444.333.222.111|22|username|userpasswd|rootpasswd
login.server.com|7033|username|userpasswd|rootpasswd

commands.txt

cd /opt
ls -l
sleep 5
tail -n 20 /var/log/message

最后,注意如果是通过ssh密钥来验证的话,需要修改expect-run.exp脚本中的Login部分(第27,30,35,38行);
而如果在脚本中还需要执行更多的交互式内容,如批量更新用户密码等,建议直接修改expect-run.exp脚本,在脚本中直接进行,总之这个脚本给我们的管理提供了一个模板,它并不适用于所有情况,但略加修改后是可以的。

12 Comments

MySQL主从复制(Master-Slave)与读写分离(MySQL-Proxy)实践

Mysql作为目前世界上使用最广泛的免费数据库,相信所有从事系统运维的工程师都一定接触过。但在实际的生产环境中,由单台Mysql作为独立的数据库是完全不能满足实际需求的,无论是在安全性,高可用性以及高并发等各个方面。

因此,一般来说都是通过 主从复制(Master-Slave)的方式来同步数据,再通过读写分离(MySQL-Proxy)来提升数据库的并发负载能力 这样的方案来进行部署与实施的。

如下图所示:

下面是我在实际工作过程中所整理的笔记,在此分享出来,以供大家参考。

一、MySQL的安装与配置
具体的安装过程,建议参考我的这一篇文章:http://heylinux.com/archives/993.html
值得一提的是,我的安装过程都是源码包编译安装的,并且所有的配置与数据等都统一规划到了/opt/mysql目录中,因此在一台服务器上安装完成以后,可以将整个mysql目录打包,然后传到其它服务器上解包,便可立即使用。

二、MySQL主从复制
场景描述:
主数据库服务器:192.168.10.130,MySQL已经安装,并且无应用数据。
从数据库服务器:192.168.10.131,MySQL已经安装,并且无应用数据。

2.1 主服务器上进行的操作
启动mysql服务
/opt/mysql/init.d/mysql start

通过命令行登录管理MySQL服务器
/opt/mysql/bin/mysql -uroot -p'new-password'

授权给从数据库服务器192.168.10.131
mysql> GRANT REPLICATION SLAVE ON *.* to 'rep1'@'192.168.10.131' identified by ‘password’;

查询主数据库状态
Mysql> show master status;
+------------------+----------+--------------+------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+------------------+----------+--------------+------------------+
| mysql-bin.000005 | 261 | | |
+------------------+----------+--------------+------------------+

记录下 FILE 及 Position 的值,在后面进行从服务器操作的时候需要用到。

2.2 配置从服务器
修改从服务器的配置文件/opt/mysql/etc/my.cnf
将 server-id = 1修改为 server-id = 10,并确保这个ID没有被别的MySQL服务所使用。
阅读全文 »

28 Comments

源码编译安装 MySQL 5.5.x 实践

1.安装cmake
MySQL从5.5版本开始,通过./configure进行编译配置方式已经被取消,取而代之的是cmake工具。
因此,我们首先要在系统中源码编译安装cmake工具。

# wget http://www.cmake.org/files/v2.8/cmake-2.8.4.tar.gz

# tar zxvf cmake-2.8.4.tar.gz

# cd cmake-2.8.4

# ./configure
# make
# make install

2.确保以下所需系统软件包已经被安装
通过 rpm -qa | grep name 的方式验证以下软件包是否已全部安装。
gcc* gcc-c++* autoconf* automake* zlib* libxml* ncurses-devel* libgcrypt* libtool*

如果缺少相关的软件包,可通过yum -y install 的方式在线安装,或直接从系统安装光盘中找到并通过rpm -ivh 的方式安装。

3. 安装前的系统设置
建立mysql安装目录及数据存放目录
# mkdir /opt/mysql
# mkdir /opt/mysql/data

创建用户和用户组
# groupadd mysql
# useradd -g mysql mysql

赋予数据存放目录权限
# chown mysql:mysql -R /opt/mysql/data

4.从configure更换为cmake
我相信大多数人都已经习惯了之前的configure方式,并且所使用的参数也是比较个性化的,换成cmake之后,这一方面会带来不少的麻烦。
还好,MySQL的官方网站提供了二者的参数对照表,我们可以尽可能的保留之前的参数,来编译配置新的MySQL版本。

configure 与 cmake 参数对照指南:
http://forge.mysql.com/wiki/Autotools_to_CMake_Transition_Guide

以我自己为例,之前我一直使用的参数为:
./configure --prefix=/opt/mysql/ \
--sysconfdir=/opt/mysql/etc \
--localstatedir=/opt/mysql/data \
--with-tcp-port=3306 \
--with-unix-socket-path=/tmp/mysqld.sock \
--with-mysqld-user=mysql \
--enable-assembler \
--with-extra-charsets=all \
--enable-thread-safe-client \
--with-big-tables \
--with-readline \
--with-ssl \
--with-embedded-server \
--enable-local-infile \
--with-plugins=partition,innobase,myisammrg

经过与cmake的参数对照之后,去除掉已经被取消的参数(大多数是因为新版本已经默认启用),cmake的参数配置如下:
cmake -DCMAKE_INSTALL_PREFIX=/opt/mysql \
-DSYSCONFDIR=/opt/mysql/etc \
-DMYSQL_DATADIR=/opt/mysql/data \
-DMYSQL_TCP_PORT=3306 \
-DMYSQL_UNIX_ADDR=/tmp/mysqld.sock \
-DMYSQL_USER=mysql \
-DEXTRA_CHARSETS=all \
-DWITH_READLINE=1 \
-DWITH_SSL=system \
-DWITH_EMBEDDED_SERVER=1 \
-DENABLED_LOCAL_INFILE=1 \
-DWITH_INNOBASE_STORAGE_ENGINE=1
阅读全文 »

9 Comments

利用SSH Key实现安全的密钥证书方式登陆

SSH作为Linux服务器的缺省登陆方式,安全性上需要进一步的增强,就我个人经验来讲,主要有以下方法:
1.禁止root用户登陆:
修改/etc/ssh/sshd_config
PermitRootLogin yes

2.仅允许某一用户(如Jack)登陆
修改/etc/ssh/sshd_config
UserAllow Jack

3.修改SSH监听端口(如7890)
修改/etc/ssh/sshd_config
Port 7890

4.通过hosts.allow仅允许指定IP(如8.8.8.8)或IP段(如8.8.8.x)通过
修改/etc/hosts.deny
sshd:all
修改/etc/hosts.allow
sshd:8.8.8.8
sshd:8.8.8.

5.禁用密码方式验证,使用密钥证书方式登陆
具体实现过程将稍后在本文中进行讲解

6.在服务器上安装OpenVPN Server,然后仅允许OpenVPN的本地IP段通过
这样每次都需要通过证书登陆到OpenVPN,才能再登陆到SSH,具体OpenVPN的搭建请参考我的这篇文章:http://heylinux.com/archives/555.html

从1到6,安全级别逐渐加强,但安全与便捷始终存在着矛盾,这一点需要大家自己进行取舍。

下面,我将对利用SSH Key实现安全的密钥证书方式登陆进行介绍,介绍中包括的客户端为 SSH Secure Shell,PuTTY,SecureCRT以及Linux终端。
一、配置OpenSSH服务端
1.修改配置文件中的以下记录
# vim /etc/ssh/sshd_config
================================
PermitEmptyPasswords no
PasswordAuthentication no

RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile .ssh/authorized_keys

StrictModes no
================================
阅读全文 »

1 Comment