立即注册 登录
About云-梭伦科技 返回首页

pig2的个人空间 https://www.aboutyun.com/?61 [收藏] [复制] [分享] [RSS]

日志

about云系列spark入门4:Spark Streaming介绍

已有 1183 次阅读2015-7-6 19:21 | about

问题导读

1.spark Streaming支持哪些语言?
2.spark Streaming是否具有故障恢复功能?





Spark Streaming使容易的建立可扩展的容错的流程序。

容易使用

Spark Streaming使用spark语言集成api处理流,使写流job跟批处理job是一样的。他支持Java, Scala and Python.

TwitterUtils.createStream(...)
    .filter(_.getText.contains("Spark"))
    .countByWindow(Seconds(5))



在滑动窗口中计算tweets 

故障容错

Spark Streaming恢复丢失的job和状态,不需要额外代码

 


Spark 集成

结合流与批处理和交互式查询。

运行spark和spark streaming是重用相同的代码,对于批处理, join streams,运行特定查询在流状态下,建立强大的交互式应用程序,不止是分析

路过

雷人

握手

鲜花

鸡蛋

评论 (0 个评论)

facelist doodle 涂鸦板

您需要登录后才可以评论 登录 | 立即注册

关闭

推荐上一条 /2 下一条