分享

Combiner

cp87597 发表于 2015-8-4 16:00:06 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 3 9933
新手问个问题:
请问Combiner发生在哪个阶段,是在Partitioner之前么?还是Merge,sort那边?
以“Word Count”为例,将Map的输入变成[a,{1,1,1,1,1}]是哪个操作(Merge?)?

已有(3)人评论

跳转到指定楼层
Alkaloid0515 发表于 2015-8-4 16:21:35
不是必须的,有了提高效率
详细参考
Mapper过程中Combiner的作用
http://www.aboutyun.com/thread-7093-1-1.html



回复

使用道具 举报

cp87597 发表于 2015-8-4 16:34:03
Alkaloid0515 发表于 2015-8-4 16:21
不是必须的,有了提高效率
详细参考
Mapper过程中Combiner的作用

大哥,我不是问你要不要Combiner啊,我想问的是Combiner发生在哪?partitioner,sort,merge
回复

使用道具 举报

bioger_hit 发表于 2015-8-4 20:40:47
cp87597 发表于 2015-8-4 16:34
大哥,我不是问你要不要Combiner啊,我想问的是Combiner发生在哪?partitioner,sort,merge

自定义的,可以先combiner然后sort,merge是指什么??合并,combiner其实就具有排序和归类的作用。
楼主多看几个mapredcue例子就明白了
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条