hadoop2.2.0集群的高可用HA及MapReduce简单配置

查看数: 48063 | 评论数: 7 | 收藏 2
关灯 | 提示:支持键盘翻页<-左 右->
    组图打开中,请稍候......
发布时间: 2014-2-3 00:24

正文摘要:

本帖最后由 nettman 于 2014-11-16 21:59 编辑 简介 hadoop中的NameNode好比是人的心脏,非常重要,绝对不可以停止工作。在hadoop1时代,只有一个NameNode。如果该NameNode数据丢失或者不能工作,那么整个集群就 ...

回复

concise 发表于 2015-7-14 10:41:52
concise 发表于 2015-7-14 09:09
问题解决了吗,我也是同样的问题,fs.defaultFS 配置为hdfs://mycluster时,创建不了代理,也就是访问不 ...

找到错误的地方了,
<property>
  <name>dfs.client.failover.proxy.provider.mycluster</name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>


Hadoop首字母大写了,导致找不到这个类
concise 发表于 2015-7-14 10:36:47
Alkaloid0515 发表于 2015-7-14 09:15
都以这个为准fs.defaultFS 配置为hdfs://mycluster

嗯,不是这个地方的原因,是我看到的第一个帖子这个参数
<property>
  <name>dfs.client.failover.proxy.provider.mycluster</name>
  <value>org.apache.Hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>


其中Hadoop首字母应该是小写,但是我复制过来的是大写。。。。
Alkaloid0515 发表于 2015-7-14 09:15:02
concise 发表于 2015-7-14 09:09
问题解决了吗,我也是同样的问题,fs.defaultFS 配置为hdfs://mycluster时,创建不了代理,也就是访问不 ...

都以这个为准fs.defaultFS 配置为hdfs://mycluster
concise 发表于 2015-7-14 09:09:50
梦回三国 发表于 2014-12-1 14:27
我的疑问跟楼上差不多,楼主配了fs.defaultFS,为什么还要配置fs.default.name,而且两个不一样,访问hdfs ...

问题解决了吗,我也是同样的问题,fs.defaultFS 配置为hdfs://mycluster时,创建不了代理,也就是访问不了hdfs;fs.defaultFS 配置为hdfs://hadoop100:9000时,可以访问hdfs,但是主备切换后,又访问不了。请教core-site.xml 中到底该怎么配置。我在Hadoop官方文档查询说fs.default.name是废弃的属性,取代它的新属性就是fs.defaultFS
梦回三国 发表于 2014-12-1 14:27:15
我的疑问跟楼上差不多,楼主配了fs.defaultFS,为什么还要配置fs.default.name,而且两个不一样,访问hdfs时如果用hdfs://mycluster,好像不能访问,那为什么还叫HA呢?

fs.defaultFS 客户端连接HDFS时,默认的路径前缀。如果前面配置了nameservice ID的值是mycluster,那么这里可以配置为授权信息的一部分。可以在core-site.xml中配置如下
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://mycluster</value>
</property>

<name>fs.default.name</name>
<value>hdfs://hadoop100:9000</value>
</property>
Joker 发表于 2014-11-16 23:04:12
版主你好,我看了你的core-site.xml的配置
  1. <property>
  2. <name>fs.default.name</name>
  3. <value>hdfs://hadoop100:9000</value>
  4. </property>
复制代码


你这里没有把2个NameNode做成一个Server?
难道说,你两个NameNode的core-site.xml
fs.default.name属性不同
  1. <property>
  2. <name>fs.default.name</name>
  3. <value>hdfs://hadoop101:9000</value>
  4. </property>
复制代码
zxy67648875 发表于 2014-2-13 16:35:52
   不错楼主 我来顶一个
关闭

推荐上一条 /2 下一条