立即注册 登录
About云-梭伦科技 返回首页

nettman的个人空间 https://www.aboutyun.com/?21 [收藏] [复制] [分享] [RSS]

日志

新手指导:mapreduce不同类型的数据分到同一个分区是否会影响输出结果

已有 458 次阅读2014-5-1 12:52

此篇需要对mapreduce有一定的了解,知道了解mapreduce的过程中,map需要分区,有多少个分区就有多少个reduce。
因此我们的map是如何分区的。
map通过Partitioner实现分区。Partitioner则是通过取余算法来实现的。
比如:
1.默认分区
key.hashcode%numPartitions
如果数值相同则被分到同一个分区。
2.自定义分区
在如下面是对男女进行分区:

对于上面假如我们把这些数据都放到一个分区中,
是否会影响输出结果那?
答案是不影响输出结果
影响的是什么?
如果都放到一个分区,会造成性能下降。




路过

雷人

握手

鲜花

鸡蛋

评论 (0 个评论)

facelist doodle 涂鸦板

您需要登录后才可以评论 登录 | 立即注册

关闭

推荐上一条 /2 下一条