日志
- 分享
spark streaming 的 transform 操作示例
-
2016-5-26 07:30
-
spark streaming 和 spark SQL 的示例全都是在 output 阶段的 foreachRDD 里才调用 SQL。实际在 output 之前,也是可以对 DStream 里的 RDD 做复杂的转换操作的,这就是 transform 方法。 通过 transform 方法,可以做到 SQL 请求的结果依然是 DStream 数据,这样就可以使用 updateStateByKey 方法了。下面是示 ...
-
1315 次阅读|0 个评论
- 新手帮助
- 新手帮助:注册遇到问题,领取资源,加入铁粉群,不会使用搜索,如何获取积分等
查看 »