SparkSQL结合SparkStreaming,通过SQL实现实时计算数据统计

查看数: 31971 | 评论数: 5 | 收藏 2
关灯 | 提示:支持键盘翻页<-左 右->
    组图打开中,请稍候......
发布时间: 2015-12-9 20:32

正文摘要:

问题导读 1.本文的场景是什么? 2.SparkSQL结合SparkStreaming,通过SQL实现实时计算数据统计需要做哪些准备? 3.SparkSQL结合SparkStreaming,通过SQL实现实时计算数据统计如何通过代码实现? ...

回复

琅琊榜尾 发表于 2019-7-29 01:00:30
没有flume搜集的么
iot-lee 发表于 2019-7-26 13:40:27
sparkstreaming 读取kafka日志数据,窗口处理为1分钟,日志数据自带时间戳,想根据日志时间戳进行分钟级别的数据统计,这个怎么支持实现?structed streaming 支持event Time,但是怎么让sparkstreaming 实现这种统计呢




企业微信截图_15641195459272.png
woshichuanqi 发表于 2016-4-7 21:56:31
在sparksql中连接MySQL数据库 能否直接执行sql语句操作MySQL?
a_zhen 发表于 2015-12-10 10:31:05
spark的东西是不是有点多啊
regan 发表于 2015-12-10 09:07:06
谢谢楼主分享

关闭

推荐上一条 /2 下一条