分享

HBase+ZooKeeper+Hadoop2.6.0的ResourceManager HA集群高可用配置

HawCHing 发表于 2015-12-18 11:25:23
5.2 修改hadoop0上的hbase的几个文件
(1)修改hbase-env.sh 最后一行 export  HBASE_MANAGES_ZK=false.

问下是所有的export  HBASE_MANAGES_ZK全部设置为false吗?还是master设置true,其他设置为false?!

还有我当前设置所有为false,master启动hbase不久后HMaster进程就自动关闭了是这么回事?
还有我当前suoy
回复

使用道具 举报

HawCHing 发表于 2015-12-25 20:32:55
Master跟slave1做namenode的HA 但是Master又是hbase的主节点,我遇到如下情况,当前namenode的active在slave1,mater为standby,但是slave1并不是hbase的主节点,所以启hbase的时候就遇到HMater起不来。。。

感觉active  namenode一定要在master上的时候,hbase才会正常启动,请问这样理解ok吗?
回复

使用道具 举报

supertianxiang 发表于 2016-1-11 20:31:14
  •         <property>
  •                 <name>dfs.nameservices</name>
  •                 <value>masters,ns1,ns2,ns3</value>
  •         </property>
  • 你好,这ns1,ns2,ns3是什么意思呢?我最的也在整一个HA的HBASE+hadoop集群,跟你这配置类似,每次启动的时候都是提示master DNS解析错误,

回复

使用道具 举报

wangqun0101 发表于 2016-2-3 14:22:59
好东西,学习了!
回复

使用道具 举报

634623907 发表于 2016-2-26 12:03:53
zhf_sy 发表于 2015-11-24 17:20
2.2.3修改hdfs-site.xml[mw_shl_code=xml,true]

        

ns1,ns2,ns3   没用  肯定是从上次搭建的地方复制过来的
回复

使用道具 举报

634623907 发表于 2016-2-26 16:11:14
这个集群 有问题的
看我最新搭建的

[url=http://www.loveweir.com/posts/view/65]最新Hadoop-2.7.2+hbase-1.2.0+zookeeper-3.4.8 HA高可用集群配置安装[/url]


回复

使用道具 举报

小伙425 发表于 2016-4-26 18:44:32
LZ辛苦啦,我也是按你上面的配置了一个集群环境(master:n1:192.168.23.10;slave1:n2:192.168.23.11;slave2:n3:192.168.23.12),我现在在使用hadoop fs -ls /tmp时是可以查看的 没问题,但是在我想运行hadoop2.6的example时时就会报一个错误,显示:java.net.ConnectException: Call From n1/192.168.23.10 to n3:8032 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused
我查看了一下日志 看了一下resourceManager是没有启动的,NodeManager启动了,但是过一会会自己停掉
我看了一下8032端口是没开的,resourceManagger的错误日志如下:
org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Invalid configuration! Can not find valid RM_HA_ID. None of yarn.resourcemanager.address.rm1 yarn.resourcemanager.address.rm2  are matching the local address OR yarn.resourcemanager.ha.id is not specified in HA Configuration
        at org.apache.hadoop.yarn.conf.HAUtil.throwBadConfigurationException(HAUtil.java:43)
        at org.apache.hadoop.yarn.conf.HAUtil.verifyAndSetCurrentRMHAId(HAUtil.java:125)
        at org.apache.hadoop.yarn.conf.HAUtil.verifyAndSetConfiguration(HAUtil.java:81)
        at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.serviceInit(ResourceManager.java:233)
        at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)
        at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.main(ResourceManager.java:1210)
2016-04-27 02:17:00,759 INFO org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down ResourceManager at n1/192.168.23.10
************************************************************/


麻烦LZ 帮我看下是怎么回事,我以前没配置过resourceManager的HA  不清怎么回事
回复

使用道具 举报

小伙425 发表于 2016-4-26 18:49:50
LZ  能解释下resourceManager的HA是咋回事吗?他的那个clusterID和集群的maters需要一样吗?怎么回事啊?
回复

使用道具 举报

小伙425 发表于 2016-4-26 18:51:18
我也按LZ的搭建了一个resourceManager的HA,但是在启动时resourceManager一直就是起不来的报错如下:
2016-04-27 02:31:51,512 FATAL org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: Error starting ResourceManager
org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Invalid configuration! Can not find valid RM_HA_ID. None of yarn.resourcemanager.address.rm1 yarn.resourcemanager.address.rm2  are matching the local address OR yarn.resourcemanager.ha.id is not specified in HA Configuration
        at org.apache.hadoop.yarn.conf.HAUtil.throwBadConfigurationException(HAUtil.java:43)
        at org.apache.hadoop.yarn.conf.HAUtil.verifyAndSetCurrentRMHAId(HAUtil.java:125)
        at org.apache.hadoop.yarn.conf.HAUtil.verifyAndSetConfiguration(HAUtil.java:81)
        at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.serviceInit(ResourceManager.java:233)
        at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)
        at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.main(ResourceManager.java:1210)
2016-04-27 02:31:51,518 INFO org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down ResourceManager at n1/192.168.23.10
************************************************************/
回复

使用道具 举报

Alkaloid0515 发表于 2016-4-26 20:06:44
小伙425 发表于 2016-4-26 18:51
我也按LZ的搭建了一个resourceManager的HA,但是在启动时resourceManager一直就是起不来的报错如下:
2016 ...

yarn.resourcemanager.address.rm1 yarn.resourcemanager.address.rm2
这两个不识别,不可盲目模仿
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条