分享

提交mapreduce job 进度到10%左右resourcesmanager进程就会挂掉,然后提示超时的错误

已有(4)人评论

跳转到指定楼层
nextuser 发表于 2017-5-26 21:17:39
本帖最后由 nextuser 于 2017-5-26 21:18 编辑

截图中看到reduce都为0,是否是网络产生问题了。
reduce在拉取数据的时候,拉不过来。导致产生问题。
还有就是竟然找不到应用程序了,是不是被自动杀掉了。内存够不够
回复

使用道具 举报

出河种花 发表于 2017-5-26 21:20:44
nextuser 发表于 2017-5-26 21:17
截图中看到reduce都为0,是否是网络产生问题了。
reduce在拉取数据的时候,拉不过来。导致产生问题。
还 ...

map才执行5%,reduce还没开始为0应该没是正常的,然后MR被关了是不是应为resourcesmanager挂掉的原因,如果是的话会是什么原因导致的呢
回复

使用道具 举报

出河种花 发表于 2017-5-26 21:45:10
nextuser 发表于 2017-5-26 21:17
截图中看到reduce都为0,是否是网络产生问题了。
reduce在拉取数据的时候,拉不过来。导致产生问题。
还 ...

四台机器都是报废的机器, 一台机器内存3G,其他三台机器内存2G,内存可以设置吗
回复

使用道具 举报

easthome001 发表于 2017-5-26 22:23:44
出河种花 发表于 2017-5-26 21:45
四台机器都是报废的机器, 一台机器内存3G,其他三台机器内存2G,内存可以设置吗

先整体看看,Linux是否内存爆满。reduce多少都会跑一些的。如果完全都为0就不正常了。

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条