分享

hadoop节点内存为什么在修改yarn-site.xml配置之后无法生效,启动集群后也没有报错

翟振华 发表于 2017-7-14 18:35:31 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 2 22499
      集群中节点默认能使用的最大内存是8G,显然这个内存是太低了,我们虚拟机的内存是64G的,现在导致我们的HSQL一跑,内存就满了,所以我们需要把这个内存调大点。关键是配置yarn-site.xml这个文档,但是我在我的测试机上调整之后,内存是增大了(起效果了),而我在生产上调整之后,内存还是没有变化,依然是8G(没有起效果),请教各位大神这个是什么配置问题,还是hadoop的版本有关,我的hadoop的版本2.7.3。具体的yarn-site.xml配置如下,在线跪求:

<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>51200</value>
    <discription>每个节点可用内存,单位MB</discription>
</property>

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>node5</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>node5:8088</value>
</property>
<property>
    <name>yarn.web-proxy.address</name>
    <value>node5:8888</value>
</property>
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>
<property>
    <name>yarn.resourcemanager.address</name>
    <value>node5:8032</value>
</property>
<property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>node5:8030</value>
</property>
<property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>node5:8031</value>
</property>
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
</configuration>

已有(2)人评论

跳转到指定楼层
langke93 发表于 2017-7-14 18:59:12
集群的配置节点都需要发布相同的配置文件,而且要刷新下集群,如果不生效。最好重启下集群,然后在试下。
回复

使用道具 举报

翟振华 发表于 2017-7-17 10:29:28
langke93 发表于 2017-7-14 18:59
集群的配置节点都需要发布相同的配置文件,而且要刷新下集群,如果不生效。最好重启下集群,然后在试下。

谢谢这位大神,我在我的测试集群上三个节点的文件yarn-site.xml文件不一致,在重启hadoop之后内存是有调整的,我的测试集群的配置是很简单的,我就在想我们的生产库上是不是有什么其他的配置导致内存的调整之后无法生效(修改之后,除了内存没增加,其他的一切都是正常的)。你这个刷新集群是指重启机器而不是重启hadoop吧。我试试看。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条