分享

kafka offset position payloadsize 这几个是什么区别

Wyy_Ck 发表于 2017-6-30 19:08:03 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 5 8571
使用命令查看kafka LOG数据:
/kafka-run-class.sh kafka.tools.DumpLogSegments                                                                           

查出类似如下:


Starting offset: 34245135offset: 34245135 position: 0 isvalid: true payloadsize: 4213 magic: 0 compresscodec: NoCompressionCodec crc: 865449274 keysize: 4213offset: 34245136 position: 8452 isvalid: true payloadsize: 4657 magic: 0 compresscodec: NoCompressionCodec crc: 4123037760 keysize: 4657offset: 34245137 position: 17792 isvalid: true payloadsize: 3921 magic: 0 compresscodec: NoCompressionCodec crc: 541297511 keysize: 3921着三个数据有啥关系吗  都是代表什么呢  特别是position




















已有(5)人评论

跳转到指定楼层
nextuser 发表于 2017-6-30 20:26:33
position:应该是指消费到哪了。
比如offset记录了开始位置,那么position个人认为有点像游标。记录着消息消费到哪了
回复

使用道具 举报

langke93 发表于 2017-7-1 12:43:26
payloadsize可能是一条消息的大小,多少字节
回复

使用道具 举报

easthome001 发表于 2017-7-3 16:31:07
本帖最后由 pig2 于 2017-7-3 16:42 编辑

payloadsize应该是一个event的有效负载。
event:数据流的一个单元
回复

使用道具 举报

Wyy_Ck 发表于 2017-7-8 20:12:39
easthome001 发表于 2017-7-3 16:31
payloadsize应该是一个event的有效负载。
event:数据流的一个单元

哦哦 谢谢 那他们之间有啥关系嘛  比如之和
回复

使用道具 举报

einhep 发表于 2017-7-8 20:46:12
Wyy_Ck 发表于 2017-7-8 20:12
哦哦 谢谢 那他们之间有啥关系嘛  比如之和

其实就是有效负载比较难以理解而已,可以查看下面诠释
通信帧或者报文中数据字段的内容。在FibreChannel中,如果数据帧或者报文中包含帧头或者报头以及填充字节等可选信息,那麽这些信息不包括在有效负载之内。


回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条