MapReduce执行过程分析

hello2018 发表于 2018-4-22 16:08
7. 基于6的基础上，每一个map任务，当它的缓冲区的数据大于80%的时候就溢写到本地磁盘，如果数据量比较大， ...

这么说来，一个map最后会对应一个merge后的溢写文件。
顺便问一下，在做merge 合并多个溢写文件为一个的时候，应该是不会垮map任务的吧？比如有2个map分别是map1和map2，map1进行merge合并报告combiner操作，应该只会在map1处理的数据结果之上吧？它不会去map2中获取文件吧？

javaanddonet 发表于 2018-4-22 17:34
这么说来，一个map最后会对应一个merge后的溢写文件。
顺便问一下，在做merge 合并多个溢写文件为一个的 ...

这个应该不会的，不同的map是分配在不同的slot；如果一个map可以读取合并另一个map的输出，那不就又跨网络传输了嘛！