关于 三月, 2015 的文章
Hadoop运维笔记 之 调整hdfs与yarn用户的进程nice优先级
由 mcsrainbow 发表在 Linux&Unix 分类,时间 2015/03/20
最近,线上的CDH5集群增加了一批新的datanode,但是其中有一些datanode的负载明显比其它的要高。
通过Ganglia上的图形报告查看,发现这些datanode的CPU %ni很高,进一步查看进程,发现不少的hdfs与yarn进程运行在高优先级(<0 可通过 ps -lp pid 查看)上,这样会夺取一部分重要系统进程的资源,导致一些问题。
于是,我们通过在线调整的方式,将所有hdfs与yarn用户的进程优先级都设置为了0,将问题解决了。
具体步骤如下:
vim /etc/security/limits.d/hdfs.conf
新增如下配置:
hdfs hard priority 20 hdfs hard nice 0
vim /etc/security/limits.d/yarn.conf
新增如下配置:
yarn hard priority 20 yarn hard nice 0
vim /etc/security/limits.d/mapred.conf
新增如下配置:
mapred hard priority 20 mapred hard nice 0
执行命令,在线调整hdfs,yarn与mapred用户的进程nice优先级:
renice 0 -u hdfs yarn mapred
ulimit -Hr 20 hdfs
ulimit -Hr 20 yarn
ulimit -Hr 20 mapred
ulimit -He 0 hdfs
ulimit -He 0 yarn
ulimit -He 0 mapred
分享一个有趣的.bashrc设置
由 mcsrainbow 发表在 Linux&Unix 分类,时间 2015/03/12
在使用Mac与Linux的命令行终端时,经常会在一些目录之间频繁的切换,于是我参考了一些资料,在.bashrc中写了几个小函数,来方便这样的操作。
操作示例:
1.进入某个目录并通过mark命令创建一个链接
[dong@Dong-MacBookPro ~]$ cd Downloads/Pictures/
[dong@Dong-MacBookPro Pictures]$ mark pictures
2.执行jump命令,在敲Tab键后的自动完成列表中选择想要进入的链接
[dong@Dong-MacBookPro Pictures]$ cd
[dong@Dong-MacBookPro ~]$ jump
chrome github pictures tmp
[dong@Dong-MacBookPro ~]$ jump pictures
[dong@Dong-MacBookPro Pictures]$ pwd
/Users/dong/Downloads/Pictures
3.执行unmark命令,在敲Tab键后的自动完成列表中选择想要删除的链接
[dong@Dong-MacBookPro Pictures]$ cd
[dong@Dong-MacBookPro ~]$ unmark
chrome github pictures tmp
[dong@Dong-MacBookPro ~]$ unmark pictures
remove /Users/dong/.marks/pictures? y
[dong@Dong-MacBookPro ~]$ jump
chrome github tmp
相关代码:
# Filesystem Markers & Jump export MARKPATH=$HOME/.marks function jump(){ cd -P $MARKPATH/$1 2>/dev/null || echo "No such mark: $1" } function mark(){ mkdir -p $MARKPATH; ln -s $(pwd) $MARKPATH/$1 } function unmark(){ rm -i $MARKPATH/$1 } function _marks(){ COMPREPLY=() local cur=${COMP_WORDS[COMP_CWORD]}; local com=${COMP_WORDS[COMP_CWORD-1]}; case $com in 'jump') local marks=($(ls ${MARKPATH})) COMPREPLY=($(compgen -W '${marks[@]}' -- $cur)) ;; 'unmark') local marks=($(ls ${MARKPATH})) COMPREPLY=($(compgen -W '${marks[@]}' -- $cur)) ;; esac } complete -F _marks jump complete -F _marks unmark
近期评论(Recent Comments)
问题找到啦,非常感谢
感谢提供解决问题的思路。我的情况是因为文件有损坏,使用hotcopy 会出现“svnadmin: Can't open file '/SVN_PATH/db/revprops/24/24685'...
大神,您好。 你的博客 都是使用什么软件和主题搭建的哈?关注你的博客很久了。 也想自己搭建一个 总结 反思自己。谢谢大神...
int result = 0; for (int i = 0; i < 101; i++) { result ^= data[i]; ...
如果确认所有的表都是INNODB引擎,没有任何MyISAM表,还可以加上--no-lock参数。...
讲的不错, mark
答案无疑是本地端口转发了,它的命令格式是: ssh -L :: 原来是这个原理...