分享

storm提交拓扑后端口不一样

szcountryboy 发表于 2016-10-12 22:53:31 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 3 10161
环境信息
    s1   nimbus
    s2   supervisor
    s3   supervisor
    s4   supervisor

storm提交两个拓扑,tp1,tp2,每个拓扑接受不同消息主题

s2  上 tp1端口6704  tp2端口6705,6706
s4  上 tp1端口6704  tp2端口6705,6706

s3  上 tp1端口6704 ,6705  tp2端口6706


为什么s3上面的端口与其它两个节点上的端口不一样呢?
端口不一样就导致下面的问题出现

[root@s3 6705]# tail -f worker.log
2016-10-12 22:54:27.295 o.a.s.d.worker [WARN] Received invalid messages for unknown tasks. Dropping...


拓扑基本如下:
                TopologyBuilder topology = new TopologyBuilder();
                topology.setSpout("KafkaReaderMe",  new KafkaSpout(spoutConfig) , 3);
                topology.setBolt("LocationProcess", new LocationProcess(),8).shuffleGrouping("KafkaReaderMe");
               
                Config config = new Config();
                config.setNumWorkers(3);
                config.setDebug(false);
                config.setMaxTaskParallelism(8);



已有(3)人评论

跳转到指定楼层
arsenduan 发表于 2016-10-13 08:27:12
个人不这么认为,每台机器的配置和资源不一样,所以可能端口是不一样的。
这个错误的原因,楼主可以核实下hosts的配置

并且报这个错误,楼主看下,到底导致哪里出错了。有没有丢失数据
回复

使用道具 举报

szcountryboy 发表于 2016-10-13 09:10:10
感谢楼上回复

host都是一样的
192.168.1.101 s1
192.168.1.102 s2
192.168.1.103 s3
192.168.1.104 s4

同一个拓扑端口不同没有关系,关键是两个拓扑,就会导致上面的问题出现
2016-10-12 22:54:27.295 o.a.s.d.worker [WARN] Received invalid messages for unknown tasks. Dropping...
回复

使用道具 举报

szcountryboy 发表于 2016-10-13 09:47:22
本帖最后由 szcountryboy 于 2016-10-13 09:58 编辑

Topology_name        Status     Num_tasks  Num_workers  Uptime_secs
------------------------------------------------------------------------------------------------------
tp1                            ACTIVE     15         3                  1402      
tp2                                ACTIVE     15         3                  1284
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条