分享

kafka的topic中已经累积了很多消息确定初始Offset三种情况

arsenduan 发表于 2016-12-27 09:38:09 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 1 9316

如果kafka的topic中已经累积了很多消息,这时新组的第一个消费者开始消费该topic中的消息,这时消费者是从topic的头开始处理,还是从topic的的尾开始处理呢,分三种情况:
使用老的消费者接口且自动确定初始offset:
auto.offset.reset属性决定初始offset。默认值为largest,表示从topic的的尾开始处理,可选的值还有smallest,表示从topic的头开始处理,设置为其他值时报异常。
使用新的消费者接口且自动确定初始offset:
auto.offset.reset属性决定初始offset。默认值为latest,表示从topic的的尾开始处理,可选的值还有earliest,表示从topic的头开始处理,,设置为none且以前没有offset时报异常。设置为其他值时直接报异常
手动指定offset:
KafkaConsumer.seek方法可以将offset置为任意的值

javacoder
作者:Nix.Huang

已有(1)人评论

跳转到指定楼层
huangll 发表于 2016-12-28 18:59:36
这还真是个坑
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条