分享

zookeeper 目录这个是什么意思呢

Wyy_Ck 发表于 2017-6-25 12:25:03 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 4 7732
本帖最后由 Wyy_Ck 于 2017-6-25 12:28 编辑

一直没有搞明白 zookeeper 下kafka目录是什么意思  请大神指点:
[mw_shl_code=shell,true]zk: localhost:2181(CONNECTED) 13] get  /brokers/topics/shuaigeck/partitions/0/state
{"controller_epoch":8,"leader":3,"version":1,"leader_epoch":1,"isr":[3]}
cZxid = 0x1000000fa
ctime = Fri Jun 23 12:47:42 EDT 2017
mZxid = 0x10000012f
mtime = Fri Jun 23 13:18:25 EDT 2017
pZxid = 0x1000000fa
cversion = 0
dataVersion = 1
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 72
numChildren = 0
[/mw_shl_code]


[mw_shl_code=shell,true][zk: localhost:2181(CONNECTED) 16] get /brokers/ids
null
cZxid = 0x100000005
ctime = Fri Jun 23 12:10:00 EDT 2017
mZxid = 0x100000005
mtime = Fri Jun 23 12:10:00 EDT 2017
pZxid = 0x10000013c
cversion = 22
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 0
[/mw_shl_code]
如果能说下i 这些的用处是最好了  结合着zookeeper+kafka    感谢感谢

已有(4)人评论

跳转到指定楼层
yunge2016 发表于 2017-6-25 14:24:14
楼主: kafka自带的zookeeper功能的。
第一:  /brokers/topics/shuaigeck/partitions/0/state .这个state是关于topic分区的状态信息,比如它的id version,数据长度等信息。还有就是消费者的偏移量offset也由zk记录。
第二:/brokers/ids .  此目录是kafka集群启动后,会注册到zookeeper.这个id就是brokder的id. id从0开始编号,启动成功后就会在这个文件中显示出来。表示注册成功,可以提供服务了。
回复

使用道具 举报

Wyy_Ck 发表于 2017-6-27 22:50:04
yunge2016 发表于 2017-6-25 14:24
楼主: kafka自带的zookeeper功能的。
第一:  /brokers/topics/shuaigeck/partitions/0/state .这个state是 ...

能否结合kafka zookeeper, 解释下 kafka是如何通过zookeeper目录下的这些信息读取数据的  这个整个流程谁了解呢    是通过什么一步步读取信息的
回复

使用道具 举报

Wyy_Ck 发表于 2017-6-27 22:51:01
能否结合kafka zookeeper, 解释下 kafka是如何通过zookeeper目录下的这些信息读取数据的  这个整个流程谁了解呢    是通过什么一步步读取信息的
回复

使用道具 举报

nextuser 发表于 2017-6-28 10:16:06
Wyy_Ck 发表于 2017-6-27 22:51
能否结合kafka zookeeper, 解释下 kafka是如何通过zookeeper目录下的这些信息读取数据的  这个整个流程谁 ...


Zookeeper管理连接信息,包括各个节点的IP,端口等;Producer和Consumer需要到Zookeeper请求Broker的信息,从而进行消息的收发;首先需要明白Broker也就是可以存放数据的节点。这个节点的信息,比如brokerid,ip等存储到zookeeper。

一个新的Broker的启动也需要到Zookeeper来注册; zookeeper也可以配集群。目的是防止某一台挂了;producer和consumer通过zookeeper去发现topic。可以通过命令看到topic、消费者的创建都需要链接zookeeper。
topic的创建
kafka-topics.sh --zookeeper master:2181,slave1:2181,slave2:2181 --create --topic test --replication-factor 1 --partitions 3



消费者的创建
kafka-console-consumer.sh --zookeeper master:2181,slave1:2181,slave2:2181  --topic test --from-beginning

目前也在研究,相互交流

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条