分享

MR编程如何只map不reduce且不进行sort与shuffle

如题,只需要map过程,分片处理一下数据,数据无序,所以用不上sort与shuffle,就想着这么把这两个过程去掉,求前辈们帮忙啊

已有(2)人评论

跳转到指定楼层
w123aw 发表于 2018-7-24 20:15:04
不想要reduce就把其设置为NONE
job.setNumReduceTasks(0);//设置个数为0 ;
也可以在mapred-site.xml下设置:
[mw_shl_code=bash,true]<property>
    <name>mapred.reduce.tasks</name>
    <value>0</value>
</property>[/mw_shl_code]

回复

使用道具 举报

1234567_e8xaE 发表于 2018-7-25 15:05:48
w123aw 发表于 2018-7-24 20:15
不想要reduce就把其设置为NONE
job.setNumReduceTasks(0);//设置个数为0 ;
也可以在mapred-site.xml下 ...

这样设置后,map出的数据会进行sort吗?
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条