改进型MapReduce

本文通过对MapReduce的剖析，列出MapReduce存在的，然后提出一种解决这些的改进型MapReduce，这种改进型的MapReduce暂且取名为MapBalanceReduce。由于经验和水平有限，所述观点和方法未必正确，真诚欢迎交流探讨。

请问MapBalanceReduce对上层应用程序透明吗吗？ 我觉得用户程序也得做相应的修改吧~~~

写应用程序会更简单，可以做到兼容目前的方式，但如果要自动balance，则需要修改，在map和reduce之外，新增了balance接口，这个接口针对单个KEY记录过多，需要一次reduce完成不了的情况。

回复  eyjian
    Hi, eyjian, 我觉得你的想法不错，你的编码已经完成了么吗？你能去jira上开个task，让 ...
noname 发表于 2010-7-19 17:11



   已经在做基础工作，采用分层实现，以保持代码的独立和通用性，代码暂放在GOOGLE上：code.google.com/p/eejian

不错啊，可以解决数据倾斜的。希望版主在以后的实现过程中能共享一下。谢谢。