分享

spark-streaming local mode

JME 发表于 2015-12-18 17:23:56 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 4 10088

我有一个streaming 程序 跑在集群上,因为那个应用数据量小 , 我使用local模式, 发现提交程序后,每天都会挂掉, 看日志也没有报错。 很郁闷,求大神解答。

已有(4)人评论

跳转到指定楼层
JME 发表于 2015-12-18 17:32:20
基本上跑几个小时,程序 久会挂掉, log 也没有出错, 这让我很郁闷,
回复

使用道具 举报

atsky123 发表于 2015-12-18 17:47:14
JME 发表于 2015-12-18 17:32
基本上跑几个小时,程序 久会挂掉, log 也没有出错, 这让我很郁闷,

如果不是一开始就出错,时间长出错,就需要考虑配置问题:
比如内存呀,临时目录等等,满的话,就出错了。
可能不是程序的错,而是内存,磁盘空间等等
回复

使用道具 举报

Pengjx2015 发表于 2015-12-18 21:47:02
提示: 该帖被管理员或版主屏蔽
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条