map reduce卡住

最近在跑资料的时候遇到了一些问题

在这边先付上软体资讯
https://github.com/jgurtowski/jnomics/w ... th-bowtie2

我的Hadoop是0.20.203板的
用ESXI模拟出一台MASTER两台SLAVE
规格如果需要可以另外附上

我遇到的问题是跑Hadoop遇到大多有四种状况

1.卡在map0% reduce0%，网页也没有job
2.卡在map100% reduce100%，没反应，网页有Jobs，但也是100%没反应。
3.卡在map100% reduce100%，网页有Jobs，最后进入Failed Jobs。
4.Failed Jobs一次，之后成功，然后大概可以跑2个档案之后又挂掉进入2或3的状态。

对于Hadoop还不是太熟悉，研究中，只是一直不能解决这些问题，想请各位帮帮忙。
如果需要任何资料我都可以提供，拜托各位了



补充内容 (2016-6-16 02:27):
https://github.com/jgurtowski/jn ... -reads-with-bowtie2

可能是内存或则硬盘不足造成的

原本每個機子我是給8G，后改为16G，但状况依然。
硬盘如下
Name: 10.1.1.189:50010
Decommission Status : Normal
Configured Capacity: 615922057216 (573.62 GB)
DFS Used: 64546398208 (60.11 GB)
Non DFS Used: 101958549504 (94.96 GB)
DFS Remaining: 449417109504(418.55 GB)
DFS Used%: 10.48%
DFS Remaining%: 72.97%
Last contact: Thu Jun 16 00:28:54 CST 2016


Name: 10.1.1.150:50010
Decommission Status : Normal
Configured Capacity: 615922057216 (573.62 GB)
DFS Used: 57070059520 (53.15 GB)
Non DFS Used: 94438522880 (87.95 GB)
DFS Remaining: 464413474816(432.52 GB)
DFS Used%: 9.27%
DFS Remaining%: 75.4%
Last contact: Thu Jun 16 00:28:54 CST 2016


Name: 10.1.1.118:50010
Decommission Status : Normal
Configured Capacity: 827317436416 (770.5 GB)
DFS Used: 63711662553 (59.34 GB)
Non DFS Used: 272694480423 (253.97 GB)
DFS Remaining: 490911293440(457.2 GB)
DFS Used%: 7.7%
DFS Remaining%: 59.34%
Last contact: Thu Jun 16 00:28:55 CST 2016

一个档案最多10G。

把内存和jvm的配置贴出来。
这个是否配置过

dfs.datanode.du.reserved



有的并不是跟集群配置有关系，需要看配置文件

arsenduan 发表于 2016-6-15 16:36
把内存和jvm的配置贴出来。
这个是否配置过

请问该如何查询呢？我使用的是Ubuntu。
hdfs-site.xml

<configuration>
<property>
<name>dfs.name.dir</name>
<value>/usr/local/hadoop/datalog1,/usr/local/hadoop/datalog2</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/usr/local/hadoop/data1,/usr/local/hadoop/data2</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>

hadoop版本有点低，楼主最好使用较高版本。内存配置参数带有jvm和memory

arsenduan 发表于 2016-6-15 16:57
hadoop版本有点低，楼主最好使用较高版本。内存配置参数带有jvm和memory

主要是，要跑的軟體規定只能用這版本的。

没用过这种版本的，谁了解介绍下。

xw2016 发表于 2016-6-15 20:57
没用过这种版本的，谁了解介绍下。

我不知道用新版的會不會有問題。

没有具体的Job运行的log信息吗？你的lib和你的集群安装的lib是否一致的？