HBase MapReduce 二次排序Secondary Sort

查看数: 38265 | 评论数: 2 | 收藏 2
关灯 | 提示:支持键盘翻页<-左 右->
    组图打开中,请稍候......
发布时间: 2014-4-10 16:44

正文摘要:

1.MapReduce不适用那些数据? 2.MapReduce如何降低实现的复杂度? 3.Map端和Reduce端是否都有Shuffle过程?

回复

xng2012 发表于 2014-4-10 16:55:42
MapReduce不适用那些数据?
MapReduceHadoop中处理大数据的方法,是一个处理大数据的简单算法、编程泛型。虽然思想简单,但其实真正用起来还是有很多问题,不是所有的问题都可以像WordCount那样典型和直观, 有很多需要trick的地方。MapReduce的中心思想是分而治之,数据要松耦合,可以划分为小数据集并行处理,如果数据本身在计算上存在很强的依赖关系,就不要赶鸭子上架,用MapReduce了。


MapReduce如何降低实现的复杂度?
MapReduce编程中,最重要的是要抓住Map和Reduce的input和output,好的input和output可以降低实现的复杂度。


Map端和Reduce端是否都有Shuffle过程?
二者都包含Shuffle

关闭

推荐上一条 /2 下一条