分享

hadoop 1.x 中Reduce的输出结果排序?

tb_dhu_hadoop 发表于 2014-4-15 21:54:59 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 2 11149
在hadoop 1.x 中,如何对Reduce的输出结果进行自定义的排序?
尝试在OutputFormat的write方法中进行结果收集,并在close函数中先排序,再输出结果。
但是没得到正确的结果

已有(2)人评论

跳转到指定楼层
pig2 发表于 2014-4-15 22:39:48
本帖最后由 pig2 于 2014-4-15 22:40 编辑
你可以使用Map/Reduce的GroupingComparator来进行排序,具体可以参考Map/Reduce的GroupingComparator

同时推荐你参考这个帖子
HBase MapReduce排序Secondary Sort




回复

使用道具 举报

tb_dhu_hadoop 发表于 2014-4-16 09:38:43
pig2 发表于 2014-4-15 22:39
本帖最后由 pig2 于 2014-4-15 22:40 编辑
你可以使用Map/Reduce的GroupingComparator来进行排序,具体可 ...

感谢pig2热心详细的回答,十分感谢!
期待与你更多的交流
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条