分享

hadoop datanode 不能连接 namenode <各种原因都看过,还没有解决>

allen_Hs 发表于 2015-8-23 09:52:07 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 5 57534
环境  centos7 + hadoop 2.6

ssh  各种连接都没有问题  master 连 slave  slave 连master
防火墙:selinux iptables 都关闭
hosts 设置没有问题 127.0.0.1 都去掉,3台虚拟机都只留
192.168.1.200 master
192.168.1.201 slave1
192.168.1.202 slave2
-------------------------------------------------------
start-dfs.sh
进程都启动成功
master:
65456 Jps
64881 NameNode
65057 DataNode
65276 SecondaryNameNode
slave:
3607 DataNode
3675 Jps
-----------------------------------------------------
hadoop下:
slaves文件设置:
master
slave1
slave2
----------------------------------------------
netstat -anp|grep 9000
tcp        0      0 192.168.1.200:9000      0.0.0.0:*               LISTEN      64881/java         
tcp        0      0 192.168.1.200:9000      192.168.1.200:42846     ESTABLISHED 64881/java         
tcp        0      0 192.168.1.200:42853     192.168.1.200:9000      TIME_WAIT   -                  
tcp        0      0 192.168.1.200:42846     192.168.1.200:9000      ESTABLISHED 65057/java         
-----------------------------------------------
问题描述:
在http://master:50070/  监控页面下。
live nodes  为1.
       只有master 的 datanode 可以看到,另外两台slave 虽有进程但无法连接到master.
而且在 slave 下  dfs/data 下 都没有生成 current 文件
查看日志为:
2015-08-22 21:44:18,358 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Block pool <registering> (Datanode Uuid unassigned) service to master/192.168.1.200:9000 starting to offer service
2015-08-22 21:44:18,369 INFO org.apache.hadoop.ipc.Server: IPC Server Responder: starting
2015-08-22 21:44:18,369 INFO org.apache.hadoop.ipc.Server: IPC Server listener on 50020: starting
-------------从下面开始就有问题了---------------------------------------------------
2015-08-22 21:44:19,478 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: master/192.168.1.200:9000. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
2015-08-22 21:44:20,479 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: master/192.168.1.200:9000. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)

我对过master 下 datanode 的日志,分割线上面都一样,下面就出问题。
hadoop namenode -format 清过几遍
dfs/name  dfs/data logs/   tmp/  都清了。还是不行
查询历史帖子,相同的现象,我都看过,但还是无法解决。

配置文件为:core-site.xml
<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://master:9000</value>
                <description>The name of the default file system</description>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/hs/hadoop/tmp</value>
                <description>A base of other temporary directories</description>
        </property>
        <property>
                <name>io.file.buffer.size</name>
                <value>8192</value>
        </property>
hdfs-site.xml
<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://master:9000</value>
                <description>The name of the default file system</description>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/hs/hadoop/tmp</value>
                <description>A base of other temporary directories</description>
        </property>
        <property>
                <name>io.file.buffer.size</name>
                <value>8192</value>
        </property>

请各位帮忙看看。不胜感激。


已有(5)人评论

跳转到指定楼层
Alkaloid0515 发表于 2015-8-23 10:55:54
这里看下hdfs上建立文件夹了吗?

<property>
                <name>hadoop.tmp.dir</name>
                <value>/home/hs/hadoop/tmp</value>
                <description>A base of other temporary directories</description>
        </property>


最好改成下面形式
<property>
                <name>hadoop.tmp.dir</name>
                <value>file:/home/hs/hadoop/tmp</value>
                <description>A base of other temporary directories</description>
        </property>


配置方面参考
hadoop(2.x)以hadoop2.2为例完全分布式最新高可靠安装文档
http://www.aboutyun.com/thread-7684-1-1.html



回复

使用道具 举报

allen_Hs 发表于 2015-8-23 20:10:06
试过了,还是不行
我怀疑是两个slave 的问题。
因为 master 作为 datanode可以正常访问,但两个slave 不行
但就是定位不到问题。日志没有报错。就是不停连 master:9000端口 无法连上。而master上 端口是开通的。
ssh master 与 slave 都没有问题。
有人遇到过类似问题吗。
回复

使用道具 举报

Alkaloid0515 发表于 2015-8-23 20:38:12
allen_Hs 发表于 2015-8-23 20:10
试过了,还是不行
我怀疑是两个slave 的问题。
因为 master 作为 datanode可以正常访问,但两个slave 不 ...

日志没有错误,说明连启动都没有启动起来
回复

使用道具 举报

diandidemeng 发表于 2015-8-24 15:35:02
楼主解决了吗?
回复

使用道具 举报

allen_Hs 发表于 2015-8-28 11:34:18
已经解决。提出解决方法。封贴
原因在于centos7
关闭 selinux 和 iptables 不行 要关闭动态防火墙

关闭防火墙:***********非常重要***********
        # systemctl status firewalld.service  --查看防火墙状态
        # systemctl stop firewalld.service    --关闭防火墙
        # systemctl disable firewalld.service --永久关闭防火墙

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条