sparkstreaming读取kafka支持event Time（日志业务时间）吗

查看数: 5868 | 评论数: 2 | 收藏 0

关灯 | 提示：支持键盘翻页<-左右->

发布时间: 2019-7-26 13:47

sparkstreaming 读取kafka日志数据，窗口处理为1分钟，日志数据自带时间戳，想根据日志时间戳进行分钟级别的数据统计，这个怎么支持实现？structed streaming 支持event Time，但是怎么让sparkstreaming 实现这种统 ...

iot-lee 发表于 2019-7-29 11:43:02

s060403072 发表于 2019-7-27 22:17
没明白楼主什么意思，如果按照request_time，那就接受后，按照request_time排序或则作为key

比如一条日志生成业务的时间是10：00：00，等传到kafka时间10：00：00，spark streaming接受到日志的处理时间为10：01：01，如果按照日志业务时间进行统计每分钟的条数的话，得以日志业务时间进行分组，而不是接收到的处理时间。

s060403072 发表于 2019-7-27 22:17:56

没明白楼主什么意思，如果按照request_time，那就接受后，按照request_time排序或则作为key

图文精华