分享

hadoop-hdfs启动又自动退出

veike 2015-10-8 14:46:06 发表于 疑问解答 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 1 9500
hadoop-hdfs启动又自动退出的问题,折腾了我1天时间啊!

日志如下:
2010-05-19 12:47:44,991 INFO  http.HttpServer - Version Jetty/5.1.4
2010-05-19 12:47:44,999 INFO  util.Credential - Checking Resource aliases
2010-05-19 12:47:45,405 INFO  util.Container - Started org.mortbay.jetty.servlet.WebApplicationHandler@49d67c
2010-05-19 12:47:45,440 INFO  util.Container - Started WebApplicationContext[/static,/static]
2010-05-19 12:47:45,509 INFO  util.Container - Started org.mortbay.jetty.servlet.WebApplicationHandler@8238f4
2010-05-19 12:47:45,510 INFO  util.Container - Started WebApplicationContext[/logs,/logs]
2010-05-19 12:47:45,593 INFO  util.Container - Started org.mortbay.jetty.servlet.WebApplicationHandler@110c31
2010-05-19 12:47:45,596 INFO  util.Container - Started WebApplicationContext[/,/]
2010-05-19 12:47:45,598 INFO  http.SocketListener - Started SocketListener on 0.0.0.0:50070
2010-05-19 12:47:45,599 INFO  util.Container - Started org.mortbay.jetty.Server@e91f5d
2010-05-19 12:47:45,615 INFO  util.ThreadedServer - Stopping Acceptor ServerSocket[addr=0.0.0.0/0.0.0.0,port=0,localport=50070]
2010-05-19 12:47:45,616 INFO  http.SocketListener - Stopped SocketListener on 0.0.0.0:50070
2010-05-19 12:47:45,616 INFO  util.Container - Stopped org.mortbay.jetty.servlet.WebApplicationHandler@49d67c
2010-05-19 12:47:45,675 INFO  util.Container - Stopped WebApplicationContext[/static,/static]
2010-05-19 12:47:45,676 INFO  util.Container - Stopped org.mortbay.jetty.servlet.WebApplicationHandler@8238f4
2010-05-19 12:47:45,729 INFO  util.Container - Stopped WebApplicationContext[/logs,/logs]
2010-05-19 12:47:45,729 INFO  util.Container - Stopped org.mortbay.jetty.servlet.WebApplicationHandler@110c31
2010-05-19 12:47:45,778 INFO  util.Container - Stopped WebApplicationContext[/,/]
2010-05-19 12:47:45,778 INFO  util.Container - Stopped org.mortbay.jetty.Server@e91f5d
2010-05-19 12:47:45,779 WARN  namenode.FSNamesystem - ReplicationMonitor thread received InterruptedException.java.lang.InterruptedException: sleep interrupted

很莫名其妙的问题,据说是因为双IP的问题,LINUX下要禁止IPV6,可我觉得这个问题开发团队肯定是注意了的,问题不在这里。

经过1天甚至还多的时间折腾,我发现下面的规律:

1、namenode第一次启动,日志显示正常,但是bin/hadoop fs -put 会报错,就是常见的:
DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IOException:
could only be replicated to 0 nodes, instead of 1

这个问题也可能是防火墙的问题,前面也遇到过。

2、namenode第二次启动(或之后),日志显示就不正常了。就是上面贴出来的,正常启动又自己自动关闭。

3、经过反复测试,发现问题在这里

3.1、每台机器都有名称,job运行的时候会根据主机名获取地址,所以要做DNS解析或者在/etc/hosts里面自己写上。(这个总结题外话,也不知道是否一定准确)

3.2、就是本篇文章要讲的问题:
<property>
        <name>fs.default.name</name>
        <value>hdfs://home0.hadoop:9000</value>
</property>

<property>
        <name>mapred.job.tracker</name>
        <value>home0.hadoop:9001</value>
</property>
这里的home0.hadoop,不要写主机名称,得是域名。经过DNS或者hosts解析的域名。

3.3另外masters里面,我现在也写成了home0.hadoop,没有测试和这个问题是否有关系。

已有(1)人评论

跳转到指定楼层
Alkaloid0515 发表于 2015-10-8 15:39:23
一般hostname即可,不需要域名。
但是由于你是双ip,这个可能就会有问题。直接换成ip试试
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条