分享

spark streaming进行累加的方法有哪些?

ld512870 发表于 2016-8-29 11:32:17 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 3 11874
最近在测试spark streaming,里面有个业务需要用到对总数据量的统计,这个在sparkstreaming中怎么实现呢?用updatestatebykey吗?效率怎么样。

已有(3)人评论

跳转到指定楼层
langke93 发表于 2016-8-29 15:52:00
进行累加的,还有spark streaming的累加器
累加器是仅仅被相关操作累加的变量,因此可以在并行中被有效地支持。它可以被用来实现计数器和总和。Spark原生地只支持数字类型的累加器,编程者可以添加新类型的支持。


回复

使用道具 举报

desehawk 发表于 2016-8-29 17:01:57
推荐参考文章:

spark分布式编程之全局变量专题【共享变量】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19652


回复

使用道具 举报

ld512870 发表于 2016-8-29 17:27:10
desehawk 发表于 2016-8-29 17:01
推荐参考文章:

spark分布式编程之全局变量专题【共享变量】

谢谢啦。解了我的燃眉之急啊。谢谢
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条