hadoop2.2运行mapreduce（wordcount）问题总结

admin 发表于 2014-9-29 23:34
输入路径错误，按照下面格式：

hadoop jar /usr/local/yarn/Hadoop/hadoop-2.2.0/share/hadoop/mapredu ...

还是不对，应该不是这个问题。我明天重装下试试。

Paul.Li 发表于 2014-9-29 23:50
还是不对，应该不是这个问题。我明天重装下试试。

先看看进程是否全，仔细检查输入输出路径

howtodown 发表于 2014-9-30 17:26
先看看进程是否全，仔细检查输入输出路径

按照本帖相应的安装文档，Wordcount是跑成功了，运算的也挺快。估计是我之前配置文件的问题，有时间再按我原来的方法重装复查下。

Paul.Li 发表于 2014-10-1 22:58
按照本帖相应的安装文档，Wordcount是跑成功了，运算的也挺快。估计是我之前配置文件的问题，有时间再按 ...

1、你好，我现在遇到的问题和你描述的是一样的，在 running Job:....   之后就一直卡着不动了，进去后台查看，如图所示
2、你是修改了哪些文件配置，使得wordcount能够运行成功！如能回复，不胜感激~！

楼主，我有一个问题跟这个有点关系的，不知道你是否有碰到过
hadoop jar /data/hadoop/current/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount /cluster1/input /cluster2/output
15/01/29 15:23:37 INFO client.RMProxy: Connecting to ResourceManager at master/192.168.3.116:8032
java.io.FileNotFoundException: /tmp
        at org.apache.hadoop.fs.viewfs.InodeTree.resolve(InodeTree.java:403)
        at org.apache.hadoop.fs.viewfs.ViewFileSystem.mkdirs(ViewFileSystem.java:396)
        at org.apache.hadoop.mapreduce.JobSubmissionFiles.getStagingDir(JobSubmissionFiles.java:133)
        at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:437)
        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1296)
        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1293)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:415)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1628)
        at org.apache.hadoop.mapreduce.Job.submit(Job.java:1293)
        at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1314)
        at org.apache.hadoop.examples.WordCount.main(WordCount.java:87)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:606)
        at org.apache.hadoop.util.ProgramDriver$ProgramDescription.invoke(ProgramDriver.java:71)
        at org.apache.hadoop.util.ProgramDriver.run(ProgramDriver.java:144)
        at org.apache.hadoop.examples.ExampleDriver.main(ExampleDriver.java:74)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:606)
        at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:136)

我搭建的环境是HA+federation  
federation 是用viewfs 视图挂载两个namenode
我在测试的时候碰到找不到/tmp ，我也搜索过很多文档，但是都是不行的，是否我的配置有问题，还是其他的呢？能否帮我解惑一下。。

学习了，顶一个！！

roant 发表于 2015-1-18 12:19
1、你好，我现在遇到的问题和你描述的是一样的，在 running Job:....   之后就一直卡着不动了，进去后台 ...

我也遇到了任务一直在pending状态，不能往下运行，经过几天的倒腾的，总算解决了
现在把我的解决方法跟大家分享下，这几天在网上也查了很多资料，没有比较靠谱的回答
因为我设置了yarn.nodemanager.resource.memory-mb 这个的大小为1024MB，
即每个节点上的内存大小为1024，但是我运行的wordcount 需要的内存比我设置的要大，导致我的任务状态一直在pending状态中

如果你配置了yarn.nodemanager.resource.memory-mb这个配置项，你把值改大些，或者直接就用默认的然后再根据需要去调整

希望对纠结于这个问题的童鞋有帮助~~

benson_liu 发表于 2015-1-29 15:25
楼主，我有一个问题跟这个有点关系的，不知道你是否有碰到过
hadoop jar /data/hadoop/current/share/hado ...

尝试修改yarn-site.xml
配置这个值主要是原先的${yarn.log.dir}是没有设置的，为了调试下面所提到的问题才设置的

<property>
    <name>yarn.nodemanager.log-dirs</name>
    <value>/tmp/userlogs</value>
  </property>

默认这个值是没有设置的，执行yarn测试hadoop的时候会出现如下报错

[mw_shl_code=bash,true] WARN org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch: Failed to launch container.  
java.io.FileNotFoundException: File /data/hadoop/tmp/nm-local-dir/usercache/hduser/appcache/application_1415026555550_0002/container_1415026555550_0002_01_000001 does not exist  [/mw_shl_code]

roant 发表于 2015-1-18 12:19
1、你好，我现在遇到的问题和你描述的是一样的，在 running Job:....   之后就一直卡着不动了，进去后台 ...

我也遇到了相同的问题，我把yarn-site中的内存设置改大之后再重启这个作业，他的状态就从unassigned变成了running，但是长时间还是没有运行结果。而在网页中作业显示作业已经启动
所以我怀疑是我的虚拟机内存不够的原因导致的，我的虚拟机只有1GB的内存，而日志中显示给我分配的作业实际需要2GB，所以可能应该和你的配置没关系，而和你的环境相关