彻底了解mapreduce核心Shuffle--解惑各种mapreduce问题

bob007 · 发表于 2015-8-14 14:22:09

zcfightings 发表于 2015-8-14 11:45
你好，看了你的回答，我还有点小问题，希望能不吝赐教！
针对第一个，直接读取中间结果：
...

问的挺多的，先自己回答找找答案，这样探讨才有意义

Aliang_29 · 发表于 2015-8-26 15:20:06

11111111111111111111111

hyj · 发表于 2015-8-26 15:25:47

zcfightings 发表于 2015-8-14 11:45
你好，看了你的回答，我还有点小问题，希望能不吝赐教！
针对第一个，直接读取中间结果：
...

(a)中间结果是以文件的形式
(b)map的输出结果是hdfs file
（c）keyvalue可以看下输出的结果
（d） map端输出是（key，val1）（key，val2）（key，val3），而reduce端收到时已经变成了（key，【val1，val2，val3】），那中间这个变化，完全被教条主义了。
只不过整合下而已。