分享

hadoop运行自带例子wordcount失败

weixiaoxiao001 发表于 2013-10-16 13:40:30 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 9 12019
[root@master hadoop-0.20.203.0]# bin/hadoop jar hadoop-examples-0.20.203.0.jar wordcount input output
12/07/30 14:46:12 WARN mapred.JobClient: No job jar file set.  User classes may not be found. See JobConf(Class) or JobConf#setJar(String).
12/07/30 14:46:12 INFO input.FileInputFormat: Total input paths to process : 2
12/07/30 14:46:12 INFO mapred.JobClient: Running job: job_201207301024_0004
12/07/30 14:46:13 INFO mapred.JobClient:  map 0% reduce 0%
12/07/30 14:46:26 INFO mapred.JobClient: Task Id : attempt_201207301024_0004_m_000000_0, Status : FAILED
java.lang.RuntimeException: java.lang.ClassNotFoundException: org.apache.hadoop.examples.WordCount$TokenizerMapper
        at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:866)
        at org.apache.hadoop.mapreduce.JobContext.getMapperClass(JobContext.java:195)
        at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:718)
        at org.apache.hadoop.mapred.MapTask.run(MapTask.java:369)
        at org.apache.hadoop.mapred.Child$4.run(Child.java:259)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:396)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1059)
        at org.apache.hadoop.mapred.Child.main(Child.java:253)
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.examples.WordCount$TokenizerMapper
        at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
        at java.security.AccessController.doPrivileged(Native Method)
        at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
        at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:247)
        at java.lang.Class.forName0(Native Method)
        at java.lang.Class.forName(Class.java:247)
        at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:819)
        at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:864)
        ... 8 more
12/07/30 14:46:27 INFO mapred.JobClient: Task Id : attempt_201207301024_0004_m_000001_0, Status : FAILED
java.lang.RuntimeException: java.lang.ClassNotFoundException: org.apache.hadoop.examples.WordCount$TokenizerMapper
        at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:866)
        at org.apache.hadoop.mapreduce.JobContext.getMapperClass(JobContext.java:195)
        at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:718)
        at org.apache.hadoop.mapred.MapTask.run(MapTask.java:369)
        at org.apache.hadoop.mapred.Child$4.run(Child.java:259)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:396)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1059)
        at org.apache.hadoop.mapred.Child.main(Child.java:253)
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.examples.WordCount$TokenizerMapper
        at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
        at java.security.AccessController.doPrivileged(Native Method)
        at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
        at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:247)
        at java.lang.Class.forName0(Native Method)
        at java.lang.Class.forName(Class.java:247)
        at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:819)
        at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:864)
        ... 8 more
12/07/30 14:46:51 INFO mapred.JobClient: Job complete: job_201207301024_0004
12/07/30 14:46:51 INFO mapred.JobClient: Counters: 7
12/07/30 14:46:51 INFO mapred.JobClient:   Job Counters
12/07/30 14:46:51 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=40721
12/07/30 14:46:51 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0
12/07/30 14:46:51 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0
12/07/30 14:46:51 INFO mapred.JobClient:     Launched map tasks=8
12/07/30 14:46:51 INFO mapred.JobClient:     Data-local map tasks=8
12/07/30 14:46:51 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=0
12/07/30 14:46:51 INFO mapred.JobClient:     Failed map tasks=1
启动都是正常的,这个为什么啊?求救
              
               
               

已有(9)人评论

跳转到指定楼层
SJWL2012 发表于 2013-10-16 13:41:10

            我也在纠结呀!同求呀!顶
        
回复

使用道具 举报

houzizy 发表于 2013-10-16 13:41:41

            这个是这个版本的问题吧,找不到wordcount的jar包。建议不用要用apache的原始版本,一般采用cloudera的版本,那个比较稳定。cloudera自己去搜索一下吧。
        
回复

使用道具 举报

zlcrypto 发表于 2013-10-16 13:42:30

            问题解决了没有呀 楼主 介绍一下解决心得呗。
        
回复

使用道具 举报

xu101q 发表于 2013-10-16 13:43:15

            这个 可能和版本有关, 也可以讲MR 程序打包成JAR , 然后在job 中指定。不知道这样能不能解决
        
回复

使用道具 举报

zhangkai08111 发表于 2013-10-16 13:44:12

            sz下来反编译找到main函数看看。
        
回复

使用道具 举报

javalzbin 发表于 2013-10-16 13:44:44

            检查下你的输出路径是否存在
        
回复

使用道具 举报

pennyharry 发表于 2013-10-16 13:45:44

            可能是eclipse版本过高,建议换成低版本的,比如3.7.2试试
        
回复

使用道具 举报

PigRunO 发表于 2013-10-16 13:46:23

            jar包问题  你的jar包可能坏了  你要是要 我可以发给你源代码 我写好的
        
回复

使用道具 举报

ThreeandOut 发表于 2013-10-16 13:47:12

            在wordcount 项目中手动导入hadoop-examples-1.0.4.jar包就没问题了。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条