分享

两个agent消费同一个kafka的topic,输出到各自的文件夹中如何实现?

本帖最后由 高兴生活 于 2018-6-28 14:21 编辑

两个agent消费同一个kafka的topic,写入都到各自的hdfs文件夹中如何实现?
补充下,不启用flume的replicating功能,主要考虑最好在kafka那端解决重复消费问题,可靠性高高些。

已有(4)人评论

跳转到指定楼层
yuwenge 发表于 2018-6-28 15:54:26

回帖奖励 +10 云币

是flume与kafka整合??
创建两个消费者组即可解决,两个组消费互不影响。
如下图:
double.png
回复

使用道具 举报

高兴生活 发表于 2018-6-28 16:05:33
你好 我说的是 具体的实现 是在kafka那端修改consumer.properties中的group.id,这个group.id可以配置几个,多个id用空格隔开么? 在flume那端agent配置kafka.consumer.group.id,填写和上面提到的group.id一致?

回复

使用道具 举报

高兴生活 发表于 2018-6-28 19:51:56
问题解决 和我设想描述的一样
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条