关于 五月, 2013 的文章

在CentOS上安装部署MooseFS分布式文件系统

参考资料:
http://www.moosefs.org/tl_files/manpageszip/moosefs-step-by-step-tutorial-cn-v.1.1.pdf

环境介绍:
OS: CentOS 6.3 x86_64
server1 - mfsmaster & mfschunkserver
server2 - mfsmetalogger & mfschunkserver & mfsclient
server3 - mfschunkserver

1. 什么是MooseFS
MooseFS是一个具有容错能力的分布式文件系统,支持挂载(通过FUSE)和与本地文件系统相同的操作。

MooseFS具有以下几个角色:
主服务器:Managing Server(master server)
数据节点:Data server(chunk servers)
备份服务器:Metadata backup servers(metalogger servers)
客户端:Client computers that access(mount) the files in MooseFS

2. 安装配置主服务器(仅在server1上)
sudo rpm --import http://apt.sw.be/RPM-GPG-KEY.dag.txt
sudo rpm -ivh http://pkgs.repoforge.org/rpmforge-release/rpmforge-release-0.5.3-1.el6.rf.x86_64.rpm
sudo yum install mfs

cd /etc/mfs
sudo cp mfsmaster.cfg.dist mfsmaster.cfg
sudo cp mfsmetalogger.cfg.dist mfsmetalogger.cfg
sudo cp mfsexports.cfg.dist mfsexports.cfg

修改主服务器的地址,比如10.197.29.251
sudo vim /etc/mfsmetalogger.cfg

MASTER_HOST = 10.197.29.251

初始化数据文件
cd /var/mfs
sudo cp metadata.mfs.empty metadata.mfs

安装WEB界面支持
sudo yum install mfs-cgi httpd
sudo vim /var/www/html/mfs/index.html

 document.location.href="/cgi-bin/mfs/mfs.cgi"

sudo vim /etc/httpd/conf/httpd.conf

Listen 9480

阅读全文 »

2 Comments

伪分布式安装部署CDH4.2.1与Impala[原创实践]

参考资料:
http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH4/latest/CDH4-Quick-Start/cdh4qs_topic_3_3.html
http://www.cloudera.com/content/cloudera-content/cloudera-docs/Impala/latest/Installing-and-Using-Impala/Installing-and-Using-Impala.html
http://blog.cloudera.com/blog/2013/02/from-zero-to-impala-in-minutes/

什么是Impala?
Cloudera发布了实时查询开源项目Impala,根据多款产品实测表明,它比原来基于MapReduce的Hive SQL查询速度提升3~90倍。Impala是Google Dremel的模仿,但在SQL功能上青出于蓝胜于蓝。

1. 安装JDK
$ sudo yum install jdk-6u41-linux-amd64.rpm

2. 伪分布式模式安装CDH4
$ cd /etc/yum.repos.d/
$ sudo wget http://archive.cloudera.com/cdh4/redhat/6/x86_64/cdh/cloudera-cdh4.repo
$ sudo yum install hadoop-conf-pseudo

格式化NameNode.
$ sudo -u hdfs hdfs namenode -format

启动HDFS
$ for x in `cd /etc/init.d ; ls hadoop-hdfs-*` ; do sudo service $x start ; done

创建/tmp目录
$ sudo -u hdfs hadoop fs -rm -r /tmp
$ sudo -u hdfs hadoop fs -mkdir /tmp
$ sudo -u hdfs hadoop fs -chmod -R 1777 /tmp

创建YARN与日志目录
$ sudo -u hdfs hadoop fs -mkdir /tmp/hadoop-yarn/staging
$ sudo -u hdfs hadoop fs -chmod -R 1777 /tmp/hadoop-yarn/staging

$ sudo -u hdfs hadoop fs -mkdir /tmp/hadoop-yarn/staging/history/done_intermediate
$ sudo -u hdfs hadoop fs -chmod -R 1777 /tmp/hadoop-yarn/staging/history/done_intermediate

$ sudo -u hdfs hadoop fs -chown -R mapred:mapred /tmp/hadoop-yarn/staging

$ sudo -u hdfs hadoop fs -mkdir /var/log/hadoop-yarn
$ sudo -u hdfs hadoop fs -chown yarn:mapred /var/log/hadoop-yarn
阅读全文 »

, , ,

1 Comment

键盘上各种符号的英文名称与发音

~      tilde          ['tɪldə]
`      backquote      [bækkwəʊt]
!      exclam         [,eksklə'm]
@      at             [æt]
#      numbersign     ['nʌmbəsaɪn]
$      dollar         ['dɑlɚ]
%      percent        [pə'sent]
^      caret          ['kærət]
&      ampersand      ['æmpəsænd]
*      asterisk       ['æstərɪsk]
(      parenleft      ['pærenleft]
)      parenright     ['pærenraɪt]
_      underscore     [ʌndə'skɔː]
+      plus           [plʌs]
-      minus          ['maɪnəs]
-      dash           [dæʃ]
=      equal          ['ikwəl]
{      braceleft      [breɪsleft]
}      braceright     [reɪsraɪt]
|      bar            [bɑr]
[      bracketleft    ['brækɪtleft]
]      bracketright   ['brækɪtraɪt]
\      backslash      ['bækslæʃ]
:      colon          ['kəʊlən]
;      semicolon      [,semɪ'kəʊlən]
"      doublequote    ['dʌbl]kwəʊt]
'      quote          [kwəʊt]
<      less           [les]
>      greater        ['gretɚ]
?      question       ['kwɛstʃən]
,      comma          ['kɑmə]
.      period         ['pɪrɪəd]
.      dot            [dɒt]
/      slash          [slæʃ]

No Comments

快速搭建一个公司内部导航站点

今天,在微博上看到 @陈利人 推荐了一个开源小工具,可以用来做公司的内部导航。
于是,就试着搭建了一个,不到5分钟就搞定了,用起来嘛,感觉还行。

以下,是具体的安装与配置步骤:
安装系统依赖
sudo yum install git
sudo yum install rubygems ruby-devel sqlite-devel
sudo gem install bundle bundler

安装程序依赖
cd ~
sudo git clone https://github.com/maccman/go.git
cd go
sudo bundle install
sudo sed -i "1i\require 'rubygems'" app.rb

配置监听地址与端口
cd /usr/lib/ruby/gems/1.8/gems/sinatra-1.4.2/lib/sinatra
sudo vim base.rb

    set :server, %w[HTTP webrick]
    set :bind, Proc.new { development? ? '0.0.0.0' : '0.0.0.0' }
    set :port, Integer(ENV['PORT'] || 80)

启动服务
cd ~/go/
sudo ruby app.rb

== Sinatra/1.4.2 has taken the stage on 80 for development with backup from Thin
>> Thin web server (v1.3.1 codename Triple Espresso)
>> Maximum connections set to 1024
>> Listening on 0.0.0.0:80, CTRL+C to stop

部署完毕,就可以看到如下页面(如我的测试环境http://192.168.92.136):

可以试着添加一条记录(如blog: http://heylinux.com):

接下来,就可以直接 点击"blog" 或 访问"http://192.168.92.136/blog" 跳转到对应的链接了。

在公司内部使用的话,可以考虑让大家配置一下本地hosts,将"go"指向到IP,这样就可以直接通过 "go/blog" 来跳转了;
如果觉得这样不方便的话,可以考虑用dnsmasq快速搭建一个本地的DNS服务器,来配置"go"指向,然后在路由器中将LAN口的DNS服务器分配地址修改一下就OK了。

1 Comment