怎么确认hadoop HA环境的mapreduce是正常的

有哪些办法可以检查hadoop HA环境的mapreduce是否正常呢？

1.自己可以程序里面指定输出
2.做一个测试小例子。比如输入什么，应该输出什么

langke93 发表于 2016-5-19 19:44
1.自己可以程序里面指定输出
2.做一个测试小例子。比如输入什么，应该输出什么

写了个最简单的mapreduce算法，wordcount，运行卡住不动。

具体情况是这样的：

xw2016 发表于 2016-5-19 22:31
具体情况是这样的：

可以先通过另外的方法来测试集群是否正常。
先看看进程是否都在，web 是否都能正常访问。
然后在通过kill master看能否切换。
当然还有其他的方法。上传一个文件对其进行各种操作等。
在确保集群正常的情况下，在去运行wordcount。

比如卡住的话，去看看mapreduce的日志。应该有相关的日志

yuwenge 发表于 2016-5-20 16:50
可以先通过另外的方法来测试集群是否正常。
先看看进程是否都在，web 是否都能正常访问。
然后在通过ki ...

web能正常访问，通过hadoop fs -ls / 可以查看，也可以上传，删除等。
就是执行mapreduce程序会卡住。

webUI可以查看namenode的状态,两个都看看