立即注册 登录
About云-梭伦科技 返回首页

rebo的个人空间 https://www.aboutyun.com/?45578 [收藏] [复制] [分享] [RSS]

日志

kafka-manager安装

热度 2已有 2646 次阅读2016-11-27 03:12 |个人分类:Kafka| kafka, kafka-manager

一、功能

   1.管理多个kafka集群
   2.便捷的检查kafka集群状态(topics,brokers,备份分布情况,分区分布情况)
   3.选择你要运行的副本
   4.基于当前分区状况进行
   5.可以选择topic配置并创建topic(0.8.1.1和0.8.2的配置不同)
   6.删除topic(只支持0.8.2以上的版本并且要在broker配置中设置delete.topic.enable=true)
   7.Topic list会指明哪些topic被删除(在0.8.2以上版本适用)
   8.为已存在的topic增加分区
   9.为已存在的topic更新配置
   10.在多个topic上批量重分区
   11.在多个topic上批量重分区(可选partition broker位置)
 
二、环境要求
   1.Kafka 0.8.1.1 or 0.8.2.* or 0.9.0.* 
   2.Java 8+

三、安装部署

   1. 安装sbt

    >  curl https://bintray.com/sbt/rpm/rpm > bintray-sbt-rpm.repo

    >  mv bintray-sbt-rpm.repo /etc/yum.repos.d/

            >  yum install sbt

      2.更改sbt源

           sbt运行时经常需要下载大量的jar包,默认连接到maven官网,速度通常比较慢。
           在`~/.sbt/`下添加一个`repositories`文件,里面内容如下:
    
          [repositories]
          local
          typesafe: http://repo.typesafe.com/typesafe/ivy-releases/, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly
         sonatype-oss-releases
         maven-central
         sonatype-oss-snapshots

  3. 下载编译

    >  git clone https://github.com/yahoo/kafka-manager.git

    >  cd kafka-manager

    >  sbt clean dist

  4. 安装配置

    编译成功后,会在target/universal下生成一个zip包

    个人编译好的: http://pan.baidu.com/s/1skOKgqD

    解压并修改配置文件

    > unzip kafka-manager-1.3.2.1.zip

    > vim kafka-manager-1.3.2.1/conf/application.conf

    将application.conf中的kafka-manager.zkhosts的值设置为你的zk地址

    如: kafka-manager.zkhosts="zk01:2181,zk02:2181,zk03:2181"

       #kafka-manager.zkhosts=${?ZK_HOSTS}    

  5. 启动,指定配置文件位置和启动端口号,默认为9000

    > nohup bin/kafka-manager -Dconfig.file=conf/application.conf -Dhttp.port=9001 &

  第一次进入web UI要进行kafka cluster的相关配置,根据自己的信息进行配置。


路过

雷人

握手
1

鲜花

鸡蛋

刚表态过的朋友 (1 人)

全部作者的其他最新日志

发表评论 评论 (1 个评论)

回复 ljlinux2012 2017-3-1 16:33
学习了

facelist doodle 涂鸦板

您需要登录后才可以评论 登录 | 立即注册

关闭

推荐上一条 /2 下一条