分享

Hadoop2.6版本在HA集群中启动时:master主节点ResourceManager启动报错

韩克拉玛寒 发表于 2015-4-20 16:38:45 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 4 170720
Hadoop2.6版本在HA集群中启动时:master主节点启动报错 ,ResourceManager没启动,另外一台的ResourceManager进程是正常的。

其错误日志:
2015-04-20 01:16:37,653 INFO org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: registered UNIX signal handlers for [TERM, HUP, INT]
2015-04-20 01:16:38,103 INFO org.apache.hadoop.conf.Configuration: found resource core-site.xml at file:/usr/local/hadoop-2.6.0/etc/hadoop/core-site.xml
2015-04-20 01:16:38,390 INFO org.apache.hadoop.security.Groups: clearing userToGroupsMap cache
2015-04-20 01:16:38,626 INFO org.apache.hadoop.conf.Configuration: found resource yarn-site.xml at file:/usr/local/hadoop-2.6.0/etc/hadoop/yarn-site.xml
2015-04-20 01:16:38,857 INFO org.apache.hadoop.service.AbstractService: Service ResourceManager failed in state INITED; cause: org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Invalid configuration! Can
not find valid RM_HA_ID. None of yarn.resourcemanager.address.rm1 yarn.resourcemanager.address.rm2  are matching the local address OR yarn.resourcemanager.ha.id is not specified in HA Configuration
org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Invalid configuration! Can not find valid RM_HA_ID. None of yarn.resourcemanager.address.rm1 yarn.resourcemanager.address.rm2  are matching the local addr
ess OR yarn.resourcemanager.ha.id is not specified in HA Configuration
        at org.apache.hadoop.yarn.conf.HAUtil.throwBadConfigurationException(HAUtil.java:43)
        at org.apache.hadoop.yarn.conf.HAUtil.verifyAndSetCurrentRMHAId(HAUtil.java:125)
        at org.apache.hadoop.yarn.conf.HAUtil.verifyAndSetConfiguration(HAUtil.java:81)
        at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.serviceInit(ResourceManager.java:233)
        at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)
        at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.main(ResourceManager.java:1210)
2015-04-20 01:16:38,864 INFO org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: Transitioning to standby state
2015-04-20 01:16:38,864 INFO org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: Transitioned to standby state
2015-04-20 01:16:38,864 FATAL org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: Error starting ResourceManager
org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Invalid configuration! Can not find valid RM_HA_ID. None of yarn.resourcemanager.address.rm1 yarn.resourcemanager.address.rm2  are matching the local addr
ess OR yarn.resourcemanager.ha.id is not specified in HA Configuration
        at org.apache.hadoop.yarn.conf.HAUtil.throwBadConfigurationException(HAUtil.java:43)
        at org.apache.hadoop.yarn.conf.HAUtil.verifyAndSetCurrentRMHAId(HAUtil.java:125)
        at org.apache.hadoop.yarn.conf.HAUtil.verifyAndSetConfiguration(HAUtil.java:81)
        at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.serviceInit(ResourceManager.java:233)
        at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)
        at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.main(ResourceManager.java:1210)
2015-04-20 01:16:38,870 INFO org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down ResourceManager at Master/192.168.80.100
************************************************************/


其配置文件:
<configuration>
<!-- Site specific YARN configuration properties -->
        <!-- 开启RM高可靠 -->
        <property>
                 <name>yarn.resourcemanager.ha.enabled</name>
                 <value>true</value>
        </property>
        <!-- 指定RM的cluster id -->
        <property>
                 <name>yarn.resourcemanager.cluster-id</name>
                  <value>RM_HA_ID</value>
        </property>
        <!-- 指定RM的名字 -->
        <property>
                 <name>yarn.resourcemanager.ha.rm-ids</name>
                 <value>rm1,rm2</value>
        </property>
        <!-- 分别指定RM的地址 -->
        <property>
                 <name>yarn.resourcemanager.hostname.rm1</name>
                 <value>Slave1</value>
        </property>
        <property>
                 <name>yarn.resourcemanager.hostname.rm2</name>
                 <value>Slave2</value>
        </property>
        <property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
    </property>

    <property>
        <name>yarn.resourcemanager.store.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
    </property>
        <!-- 指定zk集群地址 -->
        <property>
                 <name>yarn.resourcemanager.zk-address</name>
                 <value>Slave1:2181,Slave2:2181,Slave3:2181</value>
        </property>
        <property>
                 <name>yarn.nodemanager.aux-services</name>
                 <value>mapreduce_shuffle</value>
        </property>
</configuration>



请兄弟们帮忙看看我该如何解决 !!
来自群组: about云小组群
欢迎加入about云群425860289432264021 ,云计算爱好者群,亦可关注about云腾讯认证空间||关注本站微信

已有(4)人评论

跳转到指定楼层
langke93 发表于 2015-4-20 18:30:42

楼主没有添加端口,只写了slave1等信息,其它错误也是这样的
  1. <property>
  2.   <name>yarn.resourcemanager.address.rm1</name>
  3.   <value>namenode1:8132</value>
  4. </property>
  5. <property>
  6.   <name>yarn.resourcemanager.scheduler.address.rm1</name>
  7.   <value>namenode1:8130</value>
  8. </property>
复制代码

更多参考搭建hadoop2.6.0 HA及YARN HA

回复

使用道具 举报

韩克拉玛寒 发表于 2015-4-21 16:57:58
langke93 发表于 2015-4-20 18:30
楼主没有添加端口,只写了slave1等信息,其它错误也是这样的

更多参考搭建hadoop2.6.0 HA及YARN HA
这个我看了你的文档和参考的资料,在yarn-site.xml文件中,rm主机没有添加端口号,之后,我自己将一台的的RM修改到NameNode的主机上就好了 。不过还是谢谢你
回复

使用道具 举报

langke93 发表于 2015-4-21 21:04:12
韩克拉玛寒 发表于 2015-4-21 16:57
这个我看了你的文档和参考的资料,在yarn-site.xml文件中,rm主机没有添加端口号,之后,我自己将一台的的 ...

抱歉没能榜上忙,修改这个??

  1. <property>
  2.                  <name>yarn.resourcemanager.hostname.rm1</name>
  3.                  <value>Slave1</value>
  4.         </property>
  5.         <property>
  6.                  <name>yarn.resourcemanager.hostname.rm2</name>
  7.                  <value>Slave2</value>
  8.         </property>
复制代码
好像也不是,你是修改的其它配置文件?
回复

使用道具 举报

韩克拉玛寒 发表于 2015-4-22 09:24:50
langke93 发表于 2015-4-21 21:04
抱歉没能榜上忙,修改这个??

好像也不是,你是修改的其它配置文件?

没关系,确实是修改yarn-site.xml文件中  mr的主机。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条