pig2 发表于 2014-4-16 14:29:20

hadoop集群，如何运行Java jar包---如何运行mapreduce程序

导读：
本篇主要介绍了在hadoop集群上运行mapreduce方式。
可能你所关心的只是一条运行命令：
hadoop jarx.jar×××.MainClassName inputPath outputPath
如果更详细了解，可以查看下面内容。

static/image/hrline/2.gif



hadoop集群运行mapreduce有两种方式：1.一种是打包，在hadoop集群运行
2.一种是开发环境运行。
下面详细讲一下：
1.一种是打包，在hadoop集群运行
首先我们要打包程序，打包具体可以参考
（hadoop编程：解决eclipse能运行，打包放到集群上ClassNotFoundException:经验总结）
http://www.aboutyun.com/thread-7086-1-1.html
，打包完毕，我们该如何运行
首先显示一个比较简单的：
http://www.aboutyun.com/data/attachment/album/201404/16/140327ldgcaidkgwwdygph.png上面命令：hadoop jar x.jar 是运行包的一种方式，完成的方式为hadoop jarx.jar×××.MainClassName inputPath outputPath同时解释一下：x.jar为包的名称，包括路径，直接写包名称，则为默认路径×××.MainClassName为运行的类名称inputPath为输入路径outputPath为输出路径。这里需要注意的是：输入路径和输出路径，一定要对应。比如输入路径hdfs://192.168.1.100:9000/user/hadoop/filetest/word.txt

输出路径：hdfs://192.168.1.100:9000/user/hadoop/output
二者就不一致，output后面需要加入文件名，二者对应起来。
2.mapreduce在eclipse中运行对于下面按照步骤单击Java Application就ok了。http://www.aboutyun.com/data/attachment/album/201404/16/141830cu6d37596rwe4m7z.png


aqi915 发表于 2015-8-27 10:15:32

怎么看楼主的下一篇文章呢？

arsenduan 发表于 2015-8-27 10:51:55

aqi915 发表于 2015-8-27 10:15
怎么看楼主的下一篇文章呢？



看帖子和博客
http://www.aboutyun.com/home.php?mod=space&uid=61&do=blog&view=me&from=space

http://www.aboutyun.com/home.php?mod=space&uid=61&do=thread&view=me&from=space

snn123456 发表于 2015-10-21 17:13:11

谢谢分享！

unbelieve 发表于 2016-2-25 13:02:38

如果输入数据文件是多个路径，调用命令应该怎么写啊

atsky123 发表于 2016-2-25 21:01:46

unbelieve 发表于 2016-2-25 13:02
如果输入数据文件是多个路径，调用命令应该怎么写啊

那你就写多个输入路径，最后一个输出

unbelieve 发表于 2016-2-29 19:33:28

atsky123 发表于 2016-2-25 21:01
那你就写多个输入路径，最后一个输出

数据路径，我用分号隔开也不好使，最后还是在文件里直接写好路径了。

gvsagrew 发表于 2016-11-29 15:57:01

Exception in thread "main" java.io.IOException: Error opening job jar: /home/hadoop/score.jar
        at org.apache.hadoop.util.RunJar.run(RunJar.java:160)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:136)
Caused by: java.util.zip.ZipException: error in opening zip file
        at java.util.zip.ZipFile.open(Native Method)
        at java.util.zip.ZipFile.<init>(ZipFile.java:215)
        at java.util.zip.ZipFile.<init>(ZipFile.java:145)
        at java.util.jar.JarFile.<init>(JarFile.java:154)
        at java.util.jar.JarFile.<init>(JarFile.java:91)
        at org.apache.hadoop.util.RunJar.run(RunJar.java:158)
        ... 1 more
楼主，我报这样的错怎么解决

gvsagrew 发表于 2016-11-29 16:32:55

gvsagrew 发表于 2016-11-29 15:57
Exception in thread "main" java.io.IOException: Error opening job jar: /home/hadoop/score.jar
        at o ...

已解决

jiewuzhe02 发表于 2017-12-29 15:08:22

分享。顶顶
页: [1]
查看完整版本: hadoop集群，如何运行Java jar包---如何运行mapreduce程序