立即注册
登录
About云-梭伦科技
返回首页
muyannian的个人空间
https://www.aboutyun.com/?440
[收藏]
[复制]
[分享]
[RSS]
空间首页
动态
记录
日志
相册
主题
分享
留言板
个人资料
导读
淘贴
博客
群组
社区VIP
APP下载
今日排行
本周排行
本周热帖
本月排行
本月热帖
会员排行
首页
Portal
专题
BBS
面试
办公|编程助手
更多
我的空间
好友
帖子
收藏
道具
勋章
任务
动态
日志
相册
分享
记录
留言板
群组
导读
日志
hadoop报错导致flume无法写入日志文件,hadoop报错如下xceiverCount 258 exceeds the ...
已有 613 次阅读
2014-11-4 12:15
hadoop报错导致flume无法写入日志文件,hadoop报错如下xceiverCount 258 exceeds the limit of concurrent xcievers 256
问题描述:报错具体如下
2013-01-21 00:00:07,547 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Receiving block blk_-73922497349805710_31215 src: /127.0.0.1:42879 dest: /127.0.0.1:50010
2013-01-21 00:00:07,721 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: DatanodeRegistration(127.0.0.1:50010, storageID=DS-120876865-10.4.124.236-50010-1354772633249, infoPort=50075, ipcPort=50020):DataXceiver
java.io.IOException: xceiverCount 258 exceeds the limit of concurrent xcievers 256
at org.apache.hadoop.hdfs.server.datanode.DataXceiver.run(DataXceiver.java:92)
at java.lang.Thread.run(Thread.java:722)
原因分析
由于问题 出现的时间点在0点左右,因此由于flume按天归档日志文件,此时需要大量xcievers导致,先按照网上的方案修改配置再观察吧,具体方案如下
vi hdfs-site.xml
<property>
<name>dfs.datanode.max.xcievers</name>
<value>4096</value>
</property>
dfs.datanode.max.xcievers 对于datanode来说,就如同linux上的文件句柄的限制,当datanode 上面的连接数操作配置中的设置时,datanode就会拒绝连接。该参数限制了datanode所允许同时执行的发送和接受任务的数量,缺省为256,hadoop-defaults.xml中通常不设置这个参数。
这个限制看来实际有些偏小,高负载下,DFSClient 在put数据的时候会报 could not read from stream 的 Exception。
路过
雷人
握手
鲜花
鸡蛋
收藏
分享
邀请
举报
全部
作者的其他最新日志
•
Hive 源码- GenericUDAFRowNumber.java
•
Hive中什么时候执行FetchTask任务
•
OpenStack部署工具总结
•
storm 一个报错 Async loop died! & reconnect
•
编译Hadoop2.6.0源码
•
Hive之insert into 和insert overwrite
评论 (
0
个评论)
涂鸦板
您需要登录后才可以评论
登录
|
立即注册
评论
muyannian
加为好友
给我留言
打个招呼
发送消息
关闭
推荐
/2
中文版ChatGPT
1.无需魔法 2.提高编程效率 3.提高文档能力
查看 »
新手帮助
新手帮助:注册遇到问题,领取资源,加入铁粉群,不会使用搜索,如何获取积分等
查看 »
意见
反馈