立即注册
登录
About云-梭伦科技
返回首页
pig2的个人空间
https://www.aboutyun.com/?61
[收藏]
[复制]
[分享]
[RSS]
空间首页
动态
记录
日志
相册
主题
分享
留言板
个人资料
导读
淘贴
博客
群组
社区VIP
APP下载
今日排行
本周排行
本周热帖
本月排行
本月热帖
会员排行
首页
Portal
专题
BBS
面试
办公|编程助手
更多
我的空间
好友
帖子
收藏
道具
勋章
任务
动态
日志
相册
分享
记录
留言板
群组
导读
日志
about云系列spark入门4:Spark Streaming介绍
已有 1183 次阅读
2015-7-6 19:21
|
about
问题导读
1.spark Streaming支持哪些语言?
2.spark Streaming是否具有故障恢复功能?
Spark Streaming使容易的建立可扩展的容错的流程序。
容易使用
Spark Streaming使用spark语言集成api处理流,使写流job跟批处理job是一样的。他支持Java, Scala and Python.
TwitterUtils.createStream(...)
.filter(_.getText.contains("Spark"))
.countByWindow(Seconds(5))
在滑动窗口中计算tweets
故障容错
Spark Streaming恢复丢失的job和状态,不需要额外代码
Spark 集成
结合流与批处理和交互式查询。
运行spark和spark streaming是重用相同的代码,对于批处理, join streams,运行特定查询在流状态下,建立强大的交互式应用程序,不止是分析
路过
雷人
握手
鲜花
鸡蛋
收藏
分享
邀请
举报
全部
作者的其他最新日志
•
种用于单张图像大尺度人脸三维重建的VRN算法
•
基于 Openpose 实现人体动作识别
•
基于OpenCV使用OpenPose进行多个人体姿态估计
•
《DensePose: Dense Human Pose Estimation In The Wild》阅读笔记
•
Field types of query result and registered TableSink do not match
•
Clickhouse bug DB::Exception: PeekableReadBuffer: Memory limit exceed
评论 (
0
个评论)
涂鸦板
您需要登录后才可以评论
登录
|
立即注册
评论
pig2
加为好友
给我留言
打个招呼
发送消息
关闭
推荐
/2
中文版ChatGPT
1.无需魔法 2.提高编程效率 3.提高文档能力
查看 »
新手帮助
新手帮助:注册遇到问题,领取资源,加入铁粉群,不会使用搜索,如何获取积分等
查看 »
意见
反馈