分享

kafka问题求助-----!!!

caiyifeng 发表于 2015-4-13 17:16:49 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 7 169799
我部署了一套kafka,启动正常,接收消息时也能正常接收,但总会抛出异常,异常情况如下,我查了下,好像是kafka2.8.0版本的一个bug,
但我没找到如何修正该bug,请问有哪位大虾知道吗???请帮忙解答下,多谢多谢!!!


[2015-04-13 15:49:22,422] ERROR Closing socket for /192.168.110.1 because of error (kafka.network.Processor)
java.io.IOException: Connection reset by peer
        at sun.nio.ch.FileDispatcherImpl.read0(Native Method)
        at sun.nio.ch.SocketDispatcher.read(SocketDispatcher.java:39)
        at sun.nio.ch.IOUtil.readIntoNativeBuffer(IOUtil.java:223)
        at sun.nio.ch.IOUtil.read(IOUtil.java:197)
        at sun.nio.ch.SocketChannelImpl.read(SocketChannelImpl.java:379)
        at kafka.utils.Utils$.read(Utils.scala:375)
        at kafka.network.BoundedByteBufferReceive.readFrom(BoundedByteBufferReceive.scala:54)
        at kafka.network.Processor.read(SocketServer.scala:347)
        at kafka.network.Processor.run(SocketServer.scala:245)
        at java.lang.Thread.run(Thread.java:745)

已有(7)人评论

跳转到指定楼层
langke93 发表于 2015-4-13 19:07:38


引用:
# 被认为是错误信息的信息
# Kafka-server会出现这样的信息:
[2014-07-01 22:54:07,583] ERROR Closing socket for/116.255.224.229because of error (kafka.network.Processor)

java.io.IOException: Connection reset by peer

       atsun.nio.ch.FileDispatcherImpl.write0(Native Method)

       atsun.nio.ch.SocketDispatcher.write(SocketDispatcher.java:47)

       atsun.nio.ch.IOUtil.writeFromNativeBuffer(IOUtil.java:93)

       atsun.nio.ch.IOUtil.write(IOUtil.java:65)

       atsun.nio.ch.SocketChannelImpl.write(SocketChannelImpl.java:487)

       atkafka.api.PartitionDataSend.writeTo(FetchResponse.scala:67)

       atkafka.network.MultiSend.writeTo(Transmission.scala:102)

       atkafka.api.TopicDataSend.writeTo(FetchResponse.scala:124)

       atkafka.network.MultiSend.writeTo(Transmission.scala:102)

       atkafka.api.FetchResponseSend.writeTo(FetchResponse.scala:219)

       atkafka.network.Processor.write(SocketServer.scala:375)

       atkafka.network.Processor.run(SocketServer.scala:247)

       atjava.lang.Thread.run(Thread.java:745)

# Kafka-zookeeper会出现这样的信息:
[2014-07-01 22:53:22,561] INFO Got user-levelKeeperException when processing sessionid:0x146f265ce780006 type:setDatacxid:0x37 zxid:0xfffffffffffffffe txntype:unknown reqpath:n/a ErrorPath:/consumers/console-consumer-84796/offsets/yting_page_visits/4Error:KeeperErrorCode = NoNode for /consumers/console-consumer-84796/offsets/yting_page_visits/4(org.apache.zookeeper.server.PrepRequestProcessor)

[2014-07-01 22:53:22,563] INFO Got user-levelKeeperException when processing sessionid:0x146f265ce780006 type:createcxid:0x38 zxid:0xfffffffffffffffe txntype:unknown reqpath:n/a ErrorPath:/consumers/console-consumer-84796/offsets/yting_page_visitsError:KeeperErrorCode = NodeExists for/consumers/console-consumer-84796/offsets/yting_page_visits(org.apache.zookeeper.server.PrepRequestProcessor)

[2014-07-01 22:54:07,589] INFO Processed sessiontermination for sessionid: 0x146f265ce780006(org.apache.zookeeper.server.PrepRequestProcessor)

[2014-07-01 22:54:07,591] INFO Closed socketconnection for client /127.0.0.1:38575 which had sessionid 0x146f265ce780006(org.apache.zookeeper.server.NIOServerCnxn)

[2014-07-01 22:54:07,594] INFO Accepted socketconnection from /127.0.0.1:38586 (org.apache.zookeeper.server.NIOServerCnxn)

[2014-07-01 22:54:07,594] INFO Client attempting toestablish new session at /127.0.0.1:38586(org.apache.zookeeper.server.NIOServerCnxn)

[2014-07-01 22:54:07,596] INFO Established session0x146f265ce780008 with negotiated timeout 30000 for client /127.0.0.1:38586(org.apache.zookeeper.server.NIOServerCnxn)

[2014-07-01 22:54:07,628] INFO Processed sessiontermination for sessionid: 0x146f265ce780008(org.apache.zookeeper.server.PrepRequestProcessor)

[2014-07-01 22:54:07,629] INFO Closed socketconnection for client /127.0.0.1:38586 which had sessionid 0x146f265ce780008(org.apache.zookeeper.server.NIOServerCnxn)

# 错误信息分析
分析:看下面两条信息,一个是kafka-server打印出来的日志信息,一个是kafka-zookeeper打印出来的日志信息,这是由于运行命令bin/kafka-console-consumer.sh--zookeeper localhost:2181 --topic yting_page_visits --from-beginning后按了Ctrl+C才会出现Kafka-server上面这样的信息,
应该不影响,楼主想修改,可以看看kafka.network,kafka server的代码




回复

使用道具 举报

pfdj 发表于 2015-4-13 17:57:33
这问题我也经常遇见。
回复

使用道具 举报

caiyifeng 发表于 2015-4-13 18:22:11
回复

使用道具 举报

arsenduan 发表于 2015-4-13 18:57:40
本帖最后由 arsenduan 于 2015-4-13 18:58 编辑

这个确实很多人遇到过,应该不影响程序正常运行。如何修复,帮不上了。
回复

使用道具 举报

天行健 发表于 2015-10-20 11:24:56
看这个https://issues.apache.org/jira/browse/KAFKA-2251 高版本已经修复了
回复

使用道具 举报

邓立辉 发表于 2015-10-20 12:24:23
我用storm的时候也遇到类似的问题,把zookeeper里的最大client数改大了,就好了。
回复

使用道具 举报

凡梦星尘 发表于 2017-4-17 15:54:52
邓立辉 发表于 2015-10-20 12:24
我用storm的时候也遇到类似的问题,把zookeeper里的最大client数改大了,就好了。

试过了,貌似没有效果呀,而且很奇怪的就是,用多线程模拟多并发输出,并不会出现这样的问题,在生产环境上出现的频率挺高的。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条