分享

怎么能在map端两个文件统计完后,在进行reduce端处理

nextuser 发表于 2015-7-1 19:20:26 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 1 10087
现在hdfs中有两个文件
怎么能在map端两个文件统计完后,在进行reduce端处理


解决办法:
用组合式
让你真正明白什么是MapReduce组合式,迭代式,链式
http://www.aboutyun.com/thread-7435-1-1.html



已有(1)人评论

跳转到指定楼层
evababy 发表于 2015-7-2 17:53:08
不太理解你这么做的目的

组合、链式是为了解决更复杂的业务场景,并不是为了拖后reduce

map算法是决定reduce是否提前执行的关键(没必要吧正常的算法改糟吧)

reduce提前执行已经是先进生产力了,何必要强制回到石器时代。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条