分享

sparkStreaming消费不到kafka上的数据,但kafka上的数据不断变化

sparkStreaming消费了kafka上的数据一段时间后,就没有数据进来了,但kafka上的数据是一直在变化的,就说明kafka上数据是有被取走的,下面请看图

这是消费了一段时间后,sparkStreaming没有数据进来的图,我通过kafkaUtil.createStream这个方法得到Dstrea ...

这是消费了一段时间后,sparkStreaming没有数据进来的图,我通过kafkaUtil.createStream这个方法得到Dstrea ...

这是kafka上数据变化图

这是kafka上数据变化图

这是kafka上数据变化图

这是kafka上数据变化图
程序也没有抛出异常,通过kafkaUtil.creatStream得到的Dstreaming通过print方法打印出来也没有,求各位大神看看哪里出毛病了

已有(2)人评论

跳转到指定楼层
黑山小妖 发表于 2017-9-22 16:58:38
补充一点,把程序重启后,又能正常消费到数据了
回复

使用道具 举报

qcbb001 发表于 2017-9-22 18:44:26
黑山小妖 发表于 2017-9-22 16:58
补充一点,把程序重启后,又能正常消费到数据了

这个跟程序实现有关系。可以想想重启后,什么会发生变化。比如内存等因素。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条