分享

dfs.datanode.max.xcievers

lzw 2013-12-14 22:51:52 发表于 小知识点 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 0 17997
一个 Hadoop HDFS Datanode 有一个同时处理文件的上限. 这个参数叫 xcievers. 在你启动hadoop之前,先确认下你有没有配置这个文件conf/hdfs-site.xml里面的xceivers参数,至少要有4096:
  1. <property>
  2.         <name>dfs.datanode.max.xcievers</name>
  3.         <value>4096</value>
  4.       </property>
复制代码
如果没有这一项配置,你可能会遇到奇怪的失败。你会在Datanode的日志中看到xcievers exceeded,但是运行起来会报 missing blocks错误。例如: 10/12/08 20:10:31 INFO hdfs.DFSClient: Could not obtain block blk_XXXXXXXXXXXXXXXXXXXXXX_YYYYYYYY from any node: java.io.IOException: No live nodes contain current block. Will get new block locations from namenode and retry...



欢迎加入about云群9037177932227315139327136 ,云计算爱好者群,亦可关注about云腾讯认证空间||关注本站微信

没找到任何评论,期待你打破沉寂

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条