请问，Spark能替代MapReduce吗？

Spark能替代MapReduce吗？原来代码如何过渡,效率一定会提高？

howtodown · 发表于 2014-5-10 11:47:17

一个事物的产生必有他的原因，他们也有各自的使用场景：
hadoop也在不断改进mapreduce，例如都认为mapreduce是读取磁盘数据，其实也是可以使用内存的。详细可参考：hadoop作业调优参数整理及原理
mapreduce也有自己的应用场景，比方在目前日志分析用的比较多，还有做搜素的索引，机器学习算法包mahout也是之一。

Spark适用于需要多次操作特定数据集的应用场合。需要反复操作的次数越多，所需读取的数据量越大，受益越大，数据量小但是计算密集度较大的场合，受益就相对较小。

他们都有各自的适用场景，如同window与Linux，虽然存在竞争关系，但是取代的可能性不大。