分享

Storm消费topic的问题,求教

caiyifeng 发表于 2015-8-7 16:45:41 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 14 32524
arsenduan 发表于 2015-8-12 19:46:05
caiyifeng 发表于 2015-8-8 22:18
kafka group.id 这个参数在哪配置的,能给个例子吗?我在构建Topology时好像没用到

一个拓扑能做的事情,楼主用两个拓扑,原因是什么
回复

使用道具 举报

caiyifeng 发表于 2015-8-12 21:03:54
arsenduan 发表于 2015-8-12 19:46
一个拓扑能做的事情,楼主用两个拓扑,原因是什么

原因很简单啊,两个Topology所用到的数据是一样的,但处理的业务不一样,而且都比较复杂,最好是分开进行处理
回复

使用道具 举报

NEOGX 发表于 2015-8-12 21:26:04
本帖最后由 NEOGX 于 2015-8-12 21:29 编辑
caiyifeng 发表于 2015-8-12 21:03
原因很简单啊,两个Topology所用到的数据是一样的,但处理的业务不一样,而且都比较复杂,最好是分开进行 ...

数据源一样的,一个Topology完成一件事情。分别往两个拓扑里发,两个拓扑不搭边。自己处理自己的。不需要两个都抢。
回复

使用道具 举报

hufan2005 发表于 2015-8-14 09:37:51
两个Topology,同一个topic分区的数据,其中一个Topology已经读取过了,另一个Topology能继续消费。在数据过期之前多个Topology应用可共享同一topic的数据,运行多个kafka-console-consumer.sh读同一topic就能验证
回复

使用道具 举报

caiyifeng 发表于 2015-8-14 17:54:27
谢谢楼上各位,我试过了,确实两个Topology能同时消费同一个topic,不需要设置group.id
回复

使用道具 举报

12
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条