求助：hadnoop完全分布式集群安装问题，数据产生不了

howtodown · 发表于 2014-8-23 17:54:43

ran_newstar 发表于 2014-8-23 17:51
这就有个问题了啊，如果在master机器上需要手工复制该属性多次，那么当实际部署时，不利于datanode扩容。 ...

这跟你扩容关系不大，扩容你直接增加节点，单独启动就可以了。你这个是配置文件出错，所以一次启动更快一些。
如果你想配置完，只要你有时间，一个个重新启动也没有关系。
单独启动查看

如何寻找hadoop、hbase命令及单独启动hadoop datanode 及hbase regionserver

ran_newstar · 发表于 2014-8-23 18:23:59

howtodown 发表于 2014-8-23 17:54
这跟你扩容关系不大，扩容你直接增加节点，单独启动就可以了。你这个是配置文件出错，所以一次启动更快一 ...

我问的是2台namenode主机上的配置文件内容跟2台datanode主机上的配置文件内容都配成一样？

howtodown · 发表于 2014-8-23 18:41:38

ran_newstar 发表于 2014-8-23 18:23
我问的是2台namenode主机上的配置文件内容跟2台datanode主机上的配置文件内容都配成一样？

都一样的。

ran_newstar · 发表于 2014-8-23 20:33:01

howtodown 发表于 2014-8-23 18:41
都一样的。

少侠，你做过2台namenode的HA吗？

howtodown · 发表于 2014-8-23 21:51:56

本帖最后由 howtodown 于 2014-8-23 22:08 编辑

ran_newstar 发表于 2014-8-23 20:33
少侠，你做过2台namenode的HA吗？

sorry，看错了。我说前提都是正常的集群，不是ha的集群。如果不是ha的话，配置都是一样的

ran_newstar · 发表于 2014-8-23 23:10:51

howtodown 发表于 2014-8-23 21:51
本帖最后由 howtodown 于 2014-8-23 22:08 编辑

sorry，看错了。我说前提都是正常的集群，不是ha的集群 ...

HA做成功过吗？2台namenode+3台datanode。

ran_newstar · 发表于 2014-8-24 00:23:28

howtodown 发表于 2014-8-23 15:17
本帖最后由 howtodown 于 2014-8-23 15:18 编辑
你把你的配置文件中的配置项：mapreduce.job.end-notific ...

这个WARN出来，说明有错误发生。
注释掉这个属性后仍然出现这个WARN消息，不过少了提示次数。
14/08/23 09:19:08 WARN conf.Configuration: mapred-site.xml:an attempt to override final parameter: mapreduce.job.end-notification.max.attempts; Ignoring.
14/08/23 09:19:08 WARN conf.Configuration: mapred-site.xml:an attempt to override final parameter: mapreduce.job.end-notification.max.attempts; Ignoring.
Starting namenodes on [master slave]