如何利用Spark Streaming实现UV（有状态的）统计

zstu 发表于 2017-6-2 16:59
楼主，你是怎么用checkpoint来计算uv的，可以代码共享一下吗？

这个可以参考Spark官方提供的例子，我这里不方便公布代码：
https://github.com/apache/spark/ ... workWordCount.scala

https://github.com/apache/spark/ ... workWordCount.scala



基本的思路就是：
1 设置检查点
2 getorcreate创建context
3 如果需要保存状态，可以使用mapWithState