各位，请问spark计算速度快是因为把数据都放到内存里么？

about云腾讯认证空间

各位，请问spark计算速度快是因为把数据都放到内存里么？

解：
spark快内存计算是一个原因
DAG算法是也是原因之一

s060403072 · 发表于 2015-9-17 20:04:23

我觉得主要是线程并行，没有cache基本用不到内存加速

june_fu · 发表于 2015-9-17 21:07:20

内存读取速度快是一方面，DAG执行，使得中间结果不用写入磁盘，直接在内存中迭代计算，是另一方面

a_zhen · 发表于 2015-9-18 09:55:01

下一步就该学习spark了

图文精华