分享

DataNode 连接响应迟缓是什么原因?

leo_1989 发表于 2013-10-25 10:44:04 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 0 5077
我在几个不同的集群中都配置过Hadoop,包括在EC2上,都没有什么大的。
现在又换了一个环境,目前是单机的Ubuntu,但现在的是,DataNode 需要花很长时间才能注册上。
查了一下DataNode的log, 主要是在这个地方:
2011-05-10 15:18:25,044 INFO org.mortbay.log: jetty-6.1.14
2011-05-10 15:24:41,379 INFO org.mortbay.log: Started SelectChannelConnector@0.0.0.0:50075
花了6分钟,才有响应。
相应的在NameNode中,连续的log为:
2011-05-10 15:18:19,631 INFO org.apache.hadoop.ipc.Server: IPC Server handler 8 on 49000: starting
2011-05-10 15:18:19,445 INFO org.apache.hadoop.ipc.Server: Error register getProtocolVersion
java.lang.IllegalArgumentException: Duplicate metricsName:getProtocolVersion
        at org.apache.hadoop.metrics.util.MetricsRegistry.add(MetricsRegistry.java:53)
        at org.apache.hadoop.metrics.util.MetricsTimeVaryingRate.(MetricsTimeVaryingRate.java:89)
        at org.apache.hadoop.metrics.util.MetricsTimeVaryingRate.(MetricsTimeVaryingRate.java:99)
        at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:523)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:959)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:955)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:416)
        at org.apache.hadoop.ipc.Server$Handler.run(Server.java:953)
2011-05-10 15:24:46,455 INFO org.apache.hadoop.hdfs.StateChange: BLOCK* NameSystem.registerDatanode: node registration from x.x.x.x:50010 storage DS-32284823-132.176.69.181-50010-1305033886418
2011-05-10 15:24:46,461 INFO org.apache.hadoop.net.NetworkTopology: Adding a new node: /default-rack/x.x.x.x:50010
Ubuntu中,iptables文件不存在,应该不是firewall的。
在/etc/network/interface要中,给机器配置了静态的IP。
/etc/hosts中,也将localhost 和 $HOSTNAME 都映射到了机器的静态IP上去了。
在网络连接中,应该不存在了。
具体的异常表现为java.lang.IllegalArgumentException: Duplicate metricsName:getProtocolVersion
但对此我不太理解,是JDK的吗吗?
多谢!

没找到任何评论,期待你打破沉寂

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条