分享

Spark SQL如何实现多程序访问?

良辰815 发表于 2015-8-6 20:38:58 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 3 11452
请问如何使用Spark SQL程序创建DataFrame后,一个应用不断的从外部获取数据插入到这个DataFrame,另一个程序负责查询数据。
实现Spark长期在内存缓存数据的功能~

已有(3)人评论

跳转到指定楼层
bob007 发表于 2015-8-6 21:32:40

这个可以倒是可以,存在比较多的问题。比如:
一旦出现关机,那么dataframe就找不到了,并且内存还是非常昂贵的。
可以这样:在电脑启动之后,自动读入到内存,然后内存的操作也需要持久化到硬盘,这样才能保存效率和数据不丢失


回复

使用道具 举报

良辰815 发表于 2015-8-6 21:39:23
bob007 发表于 2015-8-6 21:32
这个可以倒是可以,存在比较多的问题。比如:
一旦出现关机,那么dataframe就找不到了,并且内存还是非 ...

请问如何实现其他Spark应用不停的插入数据到这个DataFrame,如何实现其他应用查询这个DataFrame?
回复

使用道具 举报

bob007 发表于 2015-8-6 21:49:09
良辰815 发表于 2015-8-6 21:39
请问如何实现其他Spark应用不停的插入数据到这个DataFrame,如何实现其他应用查询这个DataFrame?

其它应用程序,楼主直接定义一个接口就ok了。
其它程序,调用楼主接口。
至于接口如何实现,方式有很多种。
楼主可以详细了解这方面
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条