分享

【解决】Map输出的临时数据在本机的什么位置?

lixiaoliang7 发表于 2014-12-23 19:35:58 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 1 7322
本帖最后由 lixiaoliang7 于 2014-12-24 03:47 编辑

因为执行Reduce时发现内存溢出了。
所以想去本地看一下MAP输出的文件有多大。
请问我应该去哪里看? 或者说哪个配置文件中指定的是这个临时目录?

已有(1)人评论

跳转到指定楼层
howtodown 发表于 2014-12-23 22:45:29
本帖最后由 howtodown 于 2014-12-23 22:47 编辑
内存溢出跟 mapreduce的内存有关系,跟文件缓存没有关系,中间是磁盘操作,

  每个Job在运行时是散布在TaskTracker上,由不同的JVM来执行。所以这个问题归根结底就是想获取每个运行task的JVM对资源的消费情况。

详细参考
计算Job运行时的CPU与内存平均利用率(MapReduce)


回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条