分享

求助,trident不往下执行了。

邓立辉 发表于 2015-10-20 12:22:14 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 3 8363
请问,用trident时,做groupby的时候,数据多了就不执行了,日志也没报错,尝试修改配置文件中相关的buff、size相关的配置也不行。
我怀疑是groupby的数据多导致的。不知道怎么解决

已有(3)人评论

跳转到指定楼层
邓立辉 发表于 2015-10-20 13:19:29
处理的数据量小一些就能出来结果
回复

使用道具 举报

NEOGX 发表于 2015-10-20 13:34:03
邓立辉 发表于 2015-10-20 13:19
处理的数据量小一些就能出来结果

调优下,增大内存
回复

使用道具 举报

邓立辉 发表于 2015-10-20 15:29:11
NEOGX 发表于 2015-10-20 13:34
调优下,增大内存

非常感谢提醒。我把配置改成如下。supervisor.childopts: "-Xmx4196m"
worker.childopts: "-Xmx2048m"
drpc.childopts: "-Xmx2048m"
nimbus.childopts: "-Xmx2048m"

果真能跑完了,估计只改worker的就可以,一会试一下。

但是还有两个问题。
1、再执行一遍topology还是跑不出来。好像第一次的内存没释放,我看网上的例子也没有显示的调什么释放的代码。
2、storm kill toplogyname后,一直是killed状态,不会消失。导致我每次想要重新发布topology时,需要把storm整个目录删掉重新部署一边才能用。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条