分享

Storm服务器程序运行不稳定。

lwb314 发表于 2015-7-28 15:44:03 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 10 20962
提示: 作者被禁止或删除 内容自动屏蔽

已有(9)人评论

跳转到指定楼层
Alkaloid0515 发表于 2015-7-28 16:31:05
楼主Spout是可靠的,还是不可靠的
回复

使用道具 举报

lwb314 发表于 2015-7-29 10:37:47
提示: 作者被禁止或删除 内容自动屏蔽
回复

使用道具 举报

sun1 发表于 2017-2-6 17:39:31
现在我的storm程序也发生了类似的问题,运行一段时间后卡顿,几个小时到十几个小时不等,现象和你描述的一致,无法再接收kafka发送的数据,后面的bolt也没有接收到数据。
我用的jar包是storm-kafka1.0.1.jar。现在还没有解决此问题,有没有好的方法?
回复

使用道具 举报

qcbb001 发表于 2017-2-6 19:04:16
sun1 发表于 2017-2-6 17:39
现在我的storm程序也发生了类似的问题,运行一段时间后卡顿,几个小时到十几个小时不等,现象和你描述的一 ...

可能是内存的问题,查看下对应的日志,然后调整下配置参数。或则采用楼主的办法,暂时休眠
Thread.sleep(1);//这里我睡眠1毫秒,问题就解决了,一次往kafka里放了3W条记录没出现问题


回复

使用道具 举报

sun1 发表于 2017-2-7 11:10:51
qcbb001 发表于 2017-2-6 19:04
可能是内存的问题,查看下对应的日志,然后调整下配置参数。或则采用楼主的办法,暂时休眠
Thread.sleep ...

topology的默认内存我已经调整了。现在每分钟大概40+万条数据,如果sleep 1毫秒,数据容易堆积。
回复

使用道具 举报

qcbb001 发表于 2017-2-16 17:04:37
sun1 发表于 2017-2-7 11:10
topology的默认内存我已经调整了。现在每分钟大概40+万条数据,如果sleep 1毫秒,数据容易堆积。

sun1怎么调整的
回复

使用道具 举报

Auer 发表于 2017-6-13 10:36:40
@sun1 @qcbb001 两位,你们是如何解决这个问题的?
回复

使用道具 举报

sun1 发表于 2017-7-4 17:21:37
sun1 发表于 2017-2-7 11:10
topology的默认内存我已经调整了。现在每分钟大概40+万条数据,如果sleep 1毫秒,数据容易堆积。

在topology中Config config = new Config();
                        config.put(Config.WORKER_HEAP_MEMORY_MB, 1024);
                        config.put(Config.TOPOLOGY_WORKER_MAX_HEAP_SIZE_MB, 1024);

我之前看资料好像默认内存是788M?我现在调成了1024了。但是还是会出现卡顿的现象。

回复

使用道具 举报

sun1 发表于 2017-7-4 17:22:24
Auer 发表于 2017-6-13 10:36
@sun1 @qcbb001 两位,你们是如何解决这个问题的?

我的问题还没有解决呢。就在那里耗着。写了个脚本,出问题了,就重启一下。
回复

使用道具 举报

12下一页
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条