分享

hadoop-2.6.0-cdh5.4.0,win7远程运行mr任务问题?

之前用的集群是cdh4.3.0,现在升级为5.4.0了,遇到了如下问题,请各位帮帮忙。

集群部署在机房,通过vpn去通信。

我使的是win7 64  , eclipse 4.4 , hadoop eclipse 插件使的是hadoop-eclipse-plugin-2.6.0.jar。

目前是能连通,也能运行mr,但有如下问题:

1,我配置map/reduce location配置了多个,当我 run as  -> run on hadoop 的时候,没有向以前那样弹出让我选择哪个location去运行任务,而是直接运行了。
以前版本的eclipse 插件,出现选择location的情形。
QQ截图20150529173708.png

2,直接运行任务时,任务名称为:

15/05/29 17:14:19 INFO mapred.JobClient: Running job: job_local182730155_0001
15/05/29 17:14:19 INFO mapred.LocalJobRunner: OutputCommitter is org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter
15/05/29 17:14:19 INFO mapred.LocalJobRunner: Waiting for map tasks
15/05/29 17:14:19 INFO mapred.LocalJobRunner: Starting task: attempt_local182730155_0001_m_000000_0


都是local运行的,并且对于多个文件的话,它会一个文件一个文件的去分析,在cdh提供的任务界面也找不到在本地eclipse中运行的任务,以前的版本不是这样的,以前是直接运行,并且可以在jobtracker页面查看到任务的进度情况。

简单的说:
1,我需要在run on hadoop 的时候可以选择location。
2,我在本地eclipse运行的时候,不是local,而是能在cdh上查到进度。

有遇到过这种问题的朋友帮忙解决一下,顶一下也行。






已有(3)人评论

跳转到指定楼层
bioger_hit 发表于 2015-5-29 18:33:29

配置Map/Reduce Locations
Eclipse选择WindowàOpen PerspectiveàMap/Reduce,打开Map/Reduce视图。


2.png


楼主在这里配置多个,应该就可以弹出来了




############################

更多:

配置hadoop installation directory
Eclipse选择WindowàPreferens,弹出Preferens窗口,选择左侧Hadoop Map/Reduce选项,右侧配置Hadoop installation directory


1.png


配置Map/Reduce Locations
Eclipse选择WindowàOpen PerspectiveàMap/Reduce,打开Map/Reduce视图。




点击上图右上角蓝色小象,弹出Hadoop Location新增配置窗口,如下图:


3.png


Location name:自定义Location名称
Map/Reduce Master:mapred-site.xml中mapred.job.tracker属性值
DFS Master:core-site.xml中fs.default.name属性值
User name:服务器端连接hdfs的用户名


回复

使用道具 举报

chinaxiang 发表于 2015-5-29 18:50:47
@bioger_hit 我配置的就是多个,不弹呀。
回复

使用道具 举报

muyannian 发表于 2015-5-30 00:29:08
chinaxiang 发表于 2015-5-29 18:50
@bioger_hit 我配置的就是多个,不弹呀。

是不是配location了。先把本地去掉
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条