分享

eclipse如何远程提交JOB到hadoop集群

猪猪 发表于 2015-3-24 11:53:57 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 15 85841
eclipse如何配置?求大神指导。
目前出现的问题:JOB提交了但是执行失败
日志:
Application application_1425636478973_0021 failed 2 times due to AM Container for appattempt_1425636478973_0021_000002 exited with exitCode: -1000 due to: File file:/tmp/jobs/hadoop/.staging/job_1425636478973_0021/job.jar does not exist
.Failing this attempt.. Failing the application.

下面这个信息一直出现:
DEBUG - PrivilegedAction as:hadoop (auth:SIMPLE) from:org.apache.hadoop.mapreduce.Job.updateStatus(Job.java:311)
DEBUG - IPC Client (115841081) connection to master1/*.*.*.*:8032 from hadoop sending #22
DEBUG - IPC Client (115841081) connection to master1/*.*.*.*:8032 from hadoop got value #22
DEBUG - Call: getApplicationReport took 2ms

已有(14)人评论

跳转到指定楼层
langke93 发表于 2015-3-24 12:05:18
可能缺少包,如果不清楚,可以把hadoop包都引入项目中
具体参考
hadoop开发方式总结及操作指导
回复

使用道具 举报

猪猪 发表于 2015-3-24 12:06:21
全部引入了 hadoop share下面的包
回复

使用道具 举报

猪猪 发表于 2015-3-24 12:07:11
langke93 发表于 2015-3-24 12:05
可能缺少包,如果不清楚,可以把hadoop包都引入项目中
具体参考
hadoop开发方式总结及操作指导

全部引入了 hadoop share下面的包
回复

使用道具 举报

jixianqiuxue 发表于 2015-3-24 12:37:52
猪猪 发表于 2015-3-24 12:07
全部引入了 hadoop share下面的包

在程序中,是否引入了配置文件等。

程序参考:
新手指导,该如何在开发环境中,创建mapreduce程序
#############################

如果你是提交到集群,引入了mapred-site,yarn-site,却没有引入core-site,也没有设置fs.default.name,那么,因为不知道namenode的地址,无法将job.jar提交到hadoop集群上,因此会报如下错误:
[2014-05-13 16:35:03,625] INFO [main] (Job.java:1358) org.apache.hadoop.mapreduce.Job - Job job_1397132528617_2814 failed with state FAILED due to: Application application_1397132528617_2814 failed 2 times due to AM Container for appattempt_1397132528617_2814_000002 exited with  exitCode: -1000 due to: File file:/tmp/hadoop-yarn/staging/hadoop/.staging/job_1397132528617_2814/job.jar does not exist
.Failing this attempt.. Failing the application.
!因此我们只要告诉hadoop我们的namenode地址就可以了。引入core-site或是设置
fs.default.name 都是一样的




对于产生的错误
hadoop错误总结


回复

使用道具 举报

猪猪 发表于 2015-3-24 14:03:11
jixianqiuxue 发表于 2015-3-24 12:37
在程序中,是否引入了配置文件等。

程序参考:

ERROR - PriviledgedActionException as:hadoop (auth:SIMPLE) cause:java.net.ConnectException:
回复

使用道具 举报

arsenduan 发表于 2015-3-24 14:19:54
猪猪 发表于 2015-3-24 14:03
ERROR - PriviledgedActionException as:hadoop (auth:SIMPLE) cause:java.net.ConnectException:

集群是否启动,进程是否都在
回复

使用道具 举报

猪猪 发表于 2015-3-24 14:21:20
arsenduan 发表于 2015-3-24 14:19
集群是否启动,进程是否都在

已经解决,多谢,是因为hdfs的端口号没有设置好
回复

使用道具 举报

langke93 发表于 2015-3-24 14:21:37
hdfs.xml文件的内容,位于hadoop/conf文件夹下。是否修改了权限






如果还是不行,采取以下措施:
  • 删除文件目录
  • format
  • 启 Namenode, datanode
  • 查看端口  50010,  8020


回复

使用道具 举报

猪猪 发表于 2015-3-24 14:21:54
已经可以成功提交JOB到集群,多谢各位的帮忙
回复

使用道具 举报

12下一页
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条