分享

Datanode BlockSender.sendChunks() exception:

hrsjw1 发表于 2017-7-21 18:35:36 [显示全部楼层] 只看大图 回帖奖励 阅读模式 关闭右栏 1 12061
本帖最后由 hrsjw1 于 2017-7-21 18:37 编辑


hadoop version:2.6.0-cdh5.5.2


    集群使用cloudermanager 部署的 一共部署了3个集群  只其中一个集群的datanode 报错,namenode 日志正常。
    经过搜索 疑似https://issues.apache.org/jira/browse/HDFS-8814 ,也没有找到确切答案,这个问题纠结了很久,特此请大神提供思路,谢谢 !
datanode 日志 中大量错误刷屏:

2017-07-21 18:20:57,953 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: BlockSender.sendChunks() exception:
java.io.IOException: Connection timed out
        at sun.nio.ch.FileChannelImpl.transferTo0(Native Method)
        at sun.nio.ch.FileChannelImpl.transferToDirectlyInternal(FileChannelImpl.java:416)
        at sun.nio.ch.FileChannelImpl.transferToDirectly(FileChannelImpl.java:481)
        at sun.nio.ch.FileChannelImpl.transferTo(FileChannelImpl.java:596)
        at org.apache.hadoop.net.SocketOutputStream.transferToFully(SocketOutputStream.java:223)
        at org.apache.hadoop.hdfs.server.datanode.BlockSender.sendPacket(BlockSender.java:578)
        at org.apache.hadoop.hdfs.server.datanode.BlockSender.doSendBlock(BlockSender.java:758)
        at org.apache.hadoop.hdfs.server.datanode.BlockSender.sendBlock(BlockSender.java:705)
        at org.apache.hadoop.hdfs.server.datanode.DataXceiver.readBlock(DataXceiver.java:544)
        at org.apache.hadoop.hdfs.protocol.datatransfer.Receiver.opReadBlock(Receiver.java:148)
        at org.apache.hadoop.hdfs.protocol.datatransfer.Receiver.processOp(Receiver.java:103)
        at org.apache.hadoop.hdfs.server.datanode.DataXceiver.run(DataXceiver.java:244)
        at java.lang.Thread.run(Thread.java:745)



配置没改什么东西,怎么修改  错误还在,比较郁闷。
conf :

hdfs-site.xm

hdfs-site.xm

已有(1)人评论

跳转到指定楼层
sstutu 发表于 2017-7-21 19:12:04
在hadoop-site.xml中设置dfs.datanode.socket.write.timeout=0试试;
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条