分享

求助 flume发送到kafka报错

Hentai 发表于 2016-9-29 16:15:52 [显示全部楼层] 只看大图 回帖奖励 阅读模式 关闭右栏 11 17669
flume报的这个错误
QQ截图20160929151536.png

flume配置文件

flume配置文件

已有(11)人评论

跳转到指定楼层
Hentai 发表于 2016-9-29 16:16:45
简直无语 一直报这个错
回复

使用道具 举报

easthome001 发表于 2016-9-29 16:35:05
这个问题
warn async.defaulteventhandler:failed to send producer request with correlation id 2 to broker 374 with data for partitions

下面两个解决办法,楼主可以试试
解决办法1:
修改kafka中配置项,
#advertised.host.name=<hostname routable by clients>
注释去掉,并配置上kafka所在linux的ip地址
advertised.host.name=192.168.10.10
重启kafka。

解决办法2(推荐):
将kafka所在linux的(ip,别名)配置到Window环境中hosts文件:
[mw_shl_code=bash,true]192.168.10.10  kafka.host[/mw_shl_code]
Flume配置文件consumer.properties中
[mw_shl_code=bash,true]producer.sinks.r.brokerList = kafka.host:9092[/mw_shl_code]


回复

使用道具 举报

Hentai 发表于 2016-9-29 17:02:39
easthome001 发表于 2016-9-29 16:35
这个问题
warn async.defaulteventhandler:failed to send producer request with correlation id 2 to br ...

刚刚试过了 完全没有卵用 我简直无语了
回复

使用道具 举报

Hentai 发表于 2016-9-29 17:46:47
按照网上的方式各种改  然而还是无限报这种错,真心无语了
回复

使用道具 举报

nextuser 发表于 2016-9-30 07:43:25
Hentai 发表于 2016-9-29 17:46
按照网上的方式各种改  然而还是无限报这种错,真心无语了

楼主把全部的配置都贴出来看下
回复

使用道具 举报

Hentai 发表于 2016-9-30 11:02:35
nextuser 发表于 2016-9-30 07:43
楼主把全部的配置都贴出来看下

这是我kafka的配置

delete.topic.enable=true


broker.id=0

port=9092

host.name=10.0.118.208


num.network.threads=3
num.io.threads=8

socket.send.buffer.bytes=102400

socket.receive.buffer.bytes=102400

socket.request.max.bytes=104857600



log.dirs=/tmp/kafka-logs

num.partitions=1

num.recovery.threads.per.data.dir=1



log.retention.hours=168


log.segment.bytes=1073741824


log.retention.check.interval.ms=300000

log.cleaner.enable=false

zookeeper.connect=localhost:2181

zookeeper.connection.timeout.ms=6000

回复

使用道具 举报

nextuser 发表于 2016-10-1 23:56:18
Hentai 发表于 2016-9-30 11:02
这是我kafka的配置

delete.topic.enable=true

flume怎么配置的
回复

使用道具 举报

Hentai 发表于 2016-10-8 09:50:04

已经解决了
回复

使用道具 举报

nextuser 发表于 2016-10-8 21:19:00

是flume的问题,还是忘了什么配置的原因
回复

使用道具 举报

12下一页
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条