CDH 5.7.0中如何设置NameNode GC参数

使用的是CDH-5.7.0
集群中出现问题：

  暂停持续时间    (

•             HBDP
•             HDFS
•             NameNode
•             bdc22.hexun.com
  

)
                                          2016年12月6日, 下午5点58 CST                    
   
   

        是否对该角色线程进行相应调度的测试。  
                            不良  :    在前 5 分钟 内暂停所花的平均时间是每分钟 50.9 秒 (84.81%)。 临界阈值：60.00%。  


查看日志：Detected pause in JVM or host machine (eg GC): pause of approximately 17657m
NameNode 的 Java 堆栈大小（字节）设置的是4G
我想加一下gc的参数，不知道在hadoop-env.sh 中怎么写？

现在hadoop-env.sh 中配置如下：

if [ "$HADOOP_USER_CLASSPATH_FIRST" = 'true' ]; then
  # HADOOP_CLASSPATH={{HADOOP_CLASSPATH_APPEND}}
  :
else
  # HADOOP_CLASSPATH={{HADOOP_CLASSPATH}}
  :
fi
# JAVA_LIBRARY_PATH={{JAVA_LIBRARY_PATH}}

export HADOOP_MAPRED_HOME=$( ([[ ! '/opt/cloudera/parcels/CDH/lib/hadoop-mapreduce' =~H/lib/hadoop-mapreduce ) || echo ${CDH_MR2_HOME:-/usr/lib/hadoop-mapreduce/}  )
export YARN_OPTS="-Xmx1073741824 -Djava.net.preferIPv4Stack=true $YARN_OPTS"
export HADOOP_CLIENT_OPTS="-Djava.net.preferIPv4Stack=true $HADOOP_CLIENT_OPTS"

我想加上NameNode 的gc 设置，是应该加上
export HADOOP_NAMENODE_OPTS="-server -XX:ParallelGCThreads=4 -XX:+UseConcMarkSweepGC -XX:ErrorFile=/var/log/hadoop/$USER/hs_err_pid%p.log -XX:NewSize=10000m -XX:MaxNewSize=10000m -Xloggc:/var/log/hadoop/$USER/gc.log-`date +'%Y%m%d%H%M'` -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+PrintGCDateStamps -Xms20000m -Xmx20000m -Dhadoop.security.logger=INFO,DRFAS -Dhdfs.audit.logger=INFO,DRFAAUDIT ${HADOOP_NAMENODE_OPTS}"这样吗？

非常感谢！

楼主这个描述，我也是醉了。
都没看到出什么问题。
如果想调整gc，得看你想调哪个组件的，是hadoop的，还是yarn的，还是什么的

hadoop可以这么调整

最好通过界面，以免只修改一部分

通过CM界面修改，之后重启服务，CM界面->HDFS->配置，翻到最后两页中

修改后保存重启

levycui 发表于 2016-12-7 08:37
通过CM界面修改，之后重启服务，CM界面->HDFS->配置，翻到最后两页中

修改后保存重启

好的，非常感谢，我试试

nextuser 发表于 2016-12-6 18:29
楼主这个描述，我也是醉了。
都没看到出什么问题。
如果想调整gc，得看你想调哪个组件的，是hadoop的，还 ...

一直是这个问题，不知道怎么解决，小文件太多导致的吧

sunt99 发表于 2016-12-7 09:09
一直是这个问题，不知道怎么解决，小文件太多导致的吧

点进去看下什么情况，然后在查看下对应的日志

qcbb001 发表于 2016-12-7 10:17
点进去看下什么情况，然后在查看下对应的日志

看了，是Detected pause in JVM or host machine (eg GC): pause of approximately 14552ms
GC pool 'ConcurrentMarkSweep' had collection(s): count=1 time=14907ms 不知道具体怎么调整

sunt99 发表于 2016-12-7 10:41
看了，是Detected pause in JVM or host machine (eg GC): pause of approximately 14552ms
GC pool 'Co ...

这个需要了解jvm，及参数的作用。有时间研究下吧