分享

cdh集群环境中安装kafak指南

上午发了一个帖子,咨询如何安装kafka,安装的过程中遇到了很多的错误,网上也没有一个很完整的帖子说出来怎么安装。

首先介绍一下我的集群环境:cdh5.9 三台集群 ubuntu14.04 64位 jdk版本1.7

通过cdh集群安装kafka有2种方式:
第一种是通过打开cdh集群页面,hosts-->parcels--->kafka---->download 由于公司的网络不好,所以这个方式不行

第二种是通过添加parcel包方式进行安装

第一步 下载对应版本的安装包,打开http://archive.cloudera.com/kafka/parcels/latest/,你要对应你的集群系统选择你下载的,因为我的是ubuntu14.04,所以我选择下载的KAFKA-2.1.1-1.2.1.1.p0.18-trusty.parcelKAFKA-2.1.1-1.2.1.1.p0.18-trusty.parcel.sha1manifest.json

第二步 将你下载好的三个文件放到master节点的/opt/cloudera/parcel-repo,之所以放到这个文件夹底下,是因为parcel的目录指向的是这里。在这里我遇到了一个问题,我点击check for parcels,他提示我hash is not found.我在网上找了半天也没有找到对应的解决方案,后来尝试如下命令:
[mw_shl_code=bash,true]mv KAFKA-2.1.1-1.2.1.1.p0.18-trusty.parcel.sha1 KAFKA-2.1.1-1.2.1.1.p0.18-trusty.parcel.sha[/mw_shl_code]

第三步:点击cdh集群界面,添加add service--->add kafka,然后就要分配kafka broker,kafka monitiormaker,gateway。我是将3个结点都添加了broker,主结点添加了monitormaker,gateway添加了2个子节点,欢迎各位朋友指正。
然后这里遇到的问题是填写Destination Brokers List和填写Source Brokers List 。
1. 填写Destination Brokers List
若添加了Kafka MirrorMaker,则可填写其所在节点构成的列表,若未添加Kafka MirrorMaker,可填写任意服务器即可,如下:master:9092;salve1:9092;salve2:9092
2填写Source Brokers List
填写Kafka Broker所在节点构成的列表(用逗号分隔),如下(我在所有节点部署了Kafka Broker)master:9092;salve1:9092;salve2:9092

-----------------------------------------------------------------------------------------------------------------------------
2增大内存
这个错误网上很多人都遇到了,这个错误很简单就不在这里说了
-----------------------------------------------------------------------------------------------------------------------------
3
遇到一个错误:如下
whitelist must be specified when using new consumer in mirror maker它叫我添加一个白名单,我就点击cm集群管理页面--kafka--instances--kafka mirrormaker--然后搜索Whitelist,然后提示mirrormaker default group,我就把刚才分配的时候设置的添加了进去。你在分配kafka生产环境是怎么分配的,你这里就怎么填。我的是master:9092
然后重启,大功告成。欢迎朋友们指出不足。



补充内容 (2017-6-23 10:08):
不对,还少了一个文件,KAFKA-1.2.0.jar放在/opt/cloudera/csd下面
微信图片_20170622172918.png
微信图片_20170622172926.png

本帖被以下淘专辑推荐:

已有(2)人评论

跳转到指定楼层
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条