分享

Spark Streaming从kafka中读取数据导致OOM

ld512870 发表于 2016-8-31 15:10:54 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 3 9154
我通过Spark Streaming从Kafka中读取数据的时候遇到这么一个问题,如果我总是读取最新的数据,程序能够正常跑,但是如果我的程序停止过一段时间,程序重新启动之后,为防止数据丢失,从老数据那里读,因为streaming是根据时间段来读取数据,这样一秒内就会把所有的已有数据读进来,当做一个rdd。这样数据太多,会导致程序的oom。这种应该怎么控制呢?求大神帮忙。谢谢啦。

已有(3)人评论

跳转到指定楼层
langke93 发表于 2016-8-31 17:08:44
OOM有很多原因:
楼主RDD都做了什么操作

回复

使用道具 举报

langke93 发表于 2016-8-31 17:19:08
推荐,希望对楼主有所帮助
Spark OOM专题总结
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19677


回复

使用道具 举报

ld512870 发表于 2016-9-1 14:22:04
langke93 发表于 2016-8-31 17:19
推荐,希望对楼主有所帮助
Spark OOM专题总结
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19 ...

谢谢,我瞅瞅是不是这些原因。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条