分享

CDH5.0.1配置map数量

lihy114 发表于 2015-7-20 18:19:19 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 2 9977
map的数量跟几个参数 都有关系,如果输入的文件比较小的话,在0.90.x版本中mapred.map.tasks,这个参数可以设定map的数量

但是在CDH5.0.1中,使用的hadoop版本2.4.0,没有找到mapred.map.tasks这个参数,我设置了并不起作用
那么在CDH5.0.1中,如何设置对应mapred.map.tasks这个参数呢?


多谢

已有(2)人评论

跳转到指定楼层
Alkaloid0515 发表于 2015-7-20 18:34:55
本帖最后由 Alkaloid0515 于 2015-7-20 18:36 编辑


map的数量配置只是其中一个因素,最终的因素还是由当前的资源决定的


楼主参考下面文章及与之相关的
如何确定 Hadoop map和reduce的个数--map和reduce数量之间的关系是什么?
http://www.aboutyun.com/thread-6945-1-1.html



回复

使用道具 举报

lihy114 发表于 2015-7-21 08:31:54
Alkaloid0515 发表于 2015-7-20 18:34
map的数量配置只是其中一个因素,最终的因素还是由当前的资源决定的

多谢!
现在我的环境就是输入文件较小,我想增加他的并行度,提高执行的效率;想设置一个默认的map数。在0.90.X版本中,设置mapred.map.tasks参数可以。但是在2.x的版本中,使用的是CDH部署和管理的,设置了这个参数不再起效果了
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条