hadoop fs –mkdir input 就显示master:9000 connection refused

我用的虚拟机完成集群安装。
centOS下安装的hadoop2.6

master机器 jps结果：
   NameNode
   ResourceManager
   SecondaryNameNode
slave1 jps结果：
  NodeManager
  DataNode
slave2 jps结果与slave1一样

这里我以为安装没问题。配置文件都是网上找的怎么写，一个个敲进去的。

问题1：windows主机访问http://master:8088/  其中master改为master的ip192.168.1.132 也是无法访问。

问题2：运行hadoop fs –mkdir input 就报Call from master、192.168.1.132 to master:9000 failed on connection exception:java.net.ConnectionException

我尝试了网上搜索的解决办法都不行
解决方法：

1.删除所有节点dfs.data.dir和dfs.tmp.dir目录（默认为tmp/dfs/data和tmp/dfs/tmp）下的数据文件；然后重新hadoop namenode -format 格式化节点；然后启动。——————master和slave1 slave2的机器都重新格式化过，没效果

2.如果是端口访问的问题，你应该确保所用的端口都打开，比如hdfs://machine1:9000/、50030、50070之类的。执行#iptables -I INPUT -p tcp --dport 9000 -j ACCEPT 命令。如果还有报错：hdfs.DFSClient: Exception in createBlockOutputStream java.net.ConnectException: Connection refused；应该是datanode上的端口不能访问，到datanode上修改iptables：#iptables -I INPUT -s machine1 -p tcp -j ACCEPT

—————在master机器上执行了iptables -I INPUT -p tcp --dport 9000 -j ACCEPT，但是没用

————— 在slave1/2机器上执行了iptables -I INPUT -s machine1 -p tcp -j ACCEPT，还是没用

3.还有可能是防火墙的限制集群间的互相通信。尝试关闭防火墙。/etc/init.d/iptables stop

—————我在/etc/init.d下找不到iptables，我用yum install iptables-service还是没有iptables服务，但是iptables是系统自带的。iptables -V可以看到是1.4的版本。

4.最后还有可能磁盘空间不够了，请查看 df -al——————不是磁盘空间不够了

现在完全不知道怎么搞了。

直接把防火墙关了

mituan2008 发表于 2015-4-27 11:42
直接把防火墙关了

恩，应该就是防火墙问题了。

在root权限下执行service iptables stop。
因为之前我只在master机器上安装了iptables-services，关闭防火墙后没有效果。这回我把slave1/2的iptables-services都安装，然后在关闭每个节点的防火墙。
yum install iptables-services
service iptables stop
这时在hdfs上新建目录依旧会报错。因此需要重启Hadoop。
这里我不仅stop-dfs.sh stop-yarn.sh 还每个节点都运行了hadoop namenode -format，应该只是master机器需要运行。然后我在启动hadoop。忽然发现slave1/2的jps 进程 少了 DataNode。

然而神奇的是可以访问http://master:50070了。
datanode没有的原因是多次格式化namenode而没有清除dfs/data里的数据造成的。因此将slave1/2的~/dfs/data里的数据清掉，再启动hadoop。问题得到解决。

wordcount的例子目前reduce进度还是50%，linux64位不知道有没有问题。