MapReduce 编程模型概述

bioger_hit · 发表于 2014-10-29 14:56:25

首先它不会乱掉，因为即使为空，这也是没有关系的。
即使乱掉的了，也是程序员考虑不周的问题。
明知道会乱掉，还是这么分割，如果这么分割会产生问题，那么完全可以在分割的时候去掉空格。
否则要程序员就没有用了。

tang · 发表于 2015-3-7 13:06:34

讲得很好呀！

狂奔啦蜗牛 · 发表于 2015-3-30 10:56:49

讲的很好很到位终于理解了mapreduce

tang · 发表于 2015-4-3 20:10:32

抠你的鼻屎去 · 发表于 2015-4-14 11:19:07

szcountryboy 发表于 2014-10-29 14:48
日志内容都是一行一行存储，每行结尾都有换行符。我们现在忽略行内容截断情况，如果split到detail2这里，de ...

有序数据不适合用这个做

donovanchen · 发表于 2015-6-2 14:05:00

学习了学习了。

yongjian3311 · 发表于 2015-6-5 15:15:22

谢谢楼主，学习了

yongjian3311 · 发表于 2015-6-5 16:23:05

pig2 发表于 2014-3-2 21:32
个人认为，仅供参考：

请问：
若按key值不同来进行partition，如果Map后的结果当中，有的Key有多个value，有的很少，那会不会造成每一个Reducer处理量不一样？负载也不一样？怎样能做到均衡呢？

abcabcabc · 发表于 2015-6-13 21:28:10

ccliu1593571 · 发表于 2015-8-30 18:55:20

图文精华