怎么确认hadoop HA环境的mapreduce是正常的

查看数: 8669 | 评论数: 6 | 收藏 0
关灯 | 提示:支持键盘翻页<-左 右->
    组图打开中,请稍候......
发布时间: 2016-5-19 13:52

正文摘要:

有哪些办法可以检查hadoop HA环境的mapreduce是否正常呢?

回复

yhb007008 发表于 2016-7-12 16:42:59
webUI可以查看namenode的状态,两个都看看
xw2016 发表于 2016-5-20 21:34:04
yuwenge 发表于 2016-5-20 16:50
可以先通过另外的方法来测试集群是否正常。
先看看进程是否都在,web 是否都能正常访问。
然后在通过ki ...

web能正常访问,通过hadoop fs -ls / 可以查看,也可以上传,删除等。
就是执行mapreduce程序会卡住。
yuwenge 发表于 2016-5-20 16:50:25
xw2016 发表于 2016-5-19 22:31
具体情况是这样的:

可以先通过另外的方法来测试集群是否正常。
先看看进程是否都在,web 是否都能正常访问。
然后在通过kill master看能否切换。
当然还有其他的方法。上传一个文件对其进行各种操作等。
在确保集群正常的情况下,在去运行wordcount。

比如卡住的话,去看看mapreduce的日志。应该有相关的日志

xw2016 发表于 2016-5-19 22:16:50
langke93 发表于 2016-5-19 19:44
1.自己可以程序里面指定输出
2.做一个测试小例子。比如输入什么,应该输出什么

写了个最简单的mapreduce算法,wordcount,运行卡住不动。
langke93 发表于 2016-5-19 19:44:19
1.自己可以程序里面指定输出
2.做一个测试小例子。比如输入什么,应该输出什么

关闭

推荐上一条 /2 下一条