分享

kafka提交和checkpoints保存的offset不一致产生错误

pig2 发表于 2021-7-12 14:54:11 [显示全部楼层] 回帖奖励 倒序浏览 阅读模式 关闭右栏 0 257
WARN  o.a.flink.streaming.connectors.kafka.internal.Kafka09Fetcher  - Committing offsets to Kafka takes longer than the checkpoint interval. Skipping commit of previous offsets because newer complete checkpoint offsets are available. This does not compromise Flink's checkpoint integrity.
 offset不一致,可能有丢失数据,造成kafka提交的,和checkpoints保存的offset不一致,造成上面错误。

具体结合自己的环境来分析,为什么会不一致。
比如 1.延迟,2.数据丢失 3.checkpoints有问题等原因。



没找到任何评论,期待你打破沉寂

关闭

推荐上一条 /5 下一条