分享

mapreduce.map.memory.mb,mapreduce.reduce.memory.mb这2个参数如何设置

ananan36 发表于 2015-9-23 08:54:54 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 6 75045
mapreduce.map.memory.mb,mapreduce.reduce.memory.mb表示什么?比如mapreduce.map.memory.mb=1024,是不是1个map数就是1024,2个就2048,还有这个大小根据什么来设置

已有(6)人评论

跳转到指定楼层
bob007 发表于 2015-9-23 11:23:57
mapreduce.map.memory.mb        默认值:
1024       

进程名称:
MapReduce       

配置文件:

mapred-site.xml       

含义说明:
每个MapReduce作业的map任务可以申请的内存资源数量


######################################

mapreduce.reduce.memory.mb
默认值:
1024       

进程名称:
MapReduce       

配置文件:

mapred-site.xml       

含义说明:
每个MapReduce作业的reduce任务可以申请的内存资源数量


更多参数说明:
hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比
http://www.aboutyun.com/thread-7513-1-1.html




回复

使用道具 举报

bob007 发表于 2015-9-23 11:25:05
是不是1个map数就是1024?

每个暂1024,两个2048
回复

使用道具 举报

ananan36 发表于 2015-9-23 14:31:59
bob007 发表于 2015-9-23 11:25
是不是1个map数就是1024?

每个暂1024,两个2048

这个设置多大好,怎么看如何设置
回复

使用道具 举报

leo_1989 发表于 2015-9-23 21:48:57
ananan36 发表于 2015-9-23 14:31
这个设置多大好,怎么看如何设置

根据自己的实际情况
回复

使用道具 举报

ananan36 发表于 2015-9-24 08:34:25
leo_1989 发表于 2015-9-23 21:48
根据自己的实际情况

举个例子,如何来判断
回复

使用道具 举报

evababy 发表于 2017-1-3 22:39:14
mapreduce.map.memory.mb是设置每个map使用内存大小(M),默认1024,这个参数也是控制map数量的关键参数,与yarn.nodemanager.resource.memory-mb和yarn.scheduler.minimum-allocation-mb配合使用
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条