spark有没有全局缓存？想缓存一个文件内容供给一个任务使用

nextuser · 发表于 2017-11-18 18:26:06

有的，可以读取文件为rdd.然后rdd.cache
更多可参考
spark缓存cache()详解
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21120

ananan36 · 发表于 2017-11-24 15:58:57

nextuser 发表于 2017-11-18 18:26
有的，可以读取文件为rdd.然后rdd.cache
更多可参考
spark缓存cache()详解

我想是全局的

ananan36 · 发表于 2017-11-24 16:06:40

nextuser 发表于 2017-11-18 18:26
有的，可以读取文件为rdd.然后rdd.cache
更多可参考
spark缓存cache()详解

就是一个任务cache 某张表了，不同session可以同时使用

czs208112 · 发表于 2017-11-26 10:01:03

试试广播变量。这个集群间是全局的。

ruozedashuju · 发表于 2018-4-6 18:52:17

你可以了解一下 alluxio 这个框架可以满足你的需求，基于内存的文件存储系统，支持spark。

微信搜索关注若泽大数据，或者加入qq群：707635769 一起学习，一起进步

图文精华