分享

JournalNode回复超时,导致namenode关闭

linjikai8888 发表于 2016-5-7 11:06:27 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 2 8901
http://www.aboutyun.com/blog-3890-582.html

有看到这篇文章,试着调整过超时时间,不过依然报20000ms,想着去做namenode的GC调整:

阿飞解决思路是:

处理方法:

重启集群,在 6:50左右恢复正常

后续解决方法:

1)调节journalnode 的写入超时时间

dfs.qjournal.write-txns.timeout.ms

2)调整namenode 的java参数,提前触发 full gc,这样full gc 的时间就会小一些。

3)默认namenode的fullgc方式是parallel gc,是stw模式的,更改为cms的格式。调整namenode的启动参数:


-XX:+UseCompressedOops
-XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled
-XX:+UseCMSCompactAtFullCollection -XX:CMSFullGCsBeforeCompaction=0
-XX:+CMSParallelRemarkEnabled -XX:+DisableExplicitGC
-XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=75
-XX:SoftRefLRUPolicyMSPerMB=0


好!道理我都懂!但是这个java参数是哪里调整啊? 有谁清楚,将明白点吧。。


已有(2)人评论

跳转到指定楼层
langke93 发表于 2016-5-7 12:28:00
hadoop-env.sh 里面jvm里看看
回复

使用道具 举报

tntzbzc 发表于 2016-5-7 21:21:55
hadoop可以设置jvm参数的地方,一个是hadoop-env.sh,一个是配置文件。比如maped-site.xml
楼主对jvm了解不多,或则说Java理解不深。

推荐,更多楼主可以找些资料
hadoop生态系统基础:Java虚拟机参数 -XX等相关参数应用
http://www.aboutyun.com/forum.php?mod=viewthread&tid=18320


回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条