分享

hadoop yarn中无法看到job id

佛上仞俐天 发表于 2015-11-25 09:01:44 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 3 17217
小弟我使用eclipse运行一个hadoop程序,结果hdfs确实是对的,4台slave中都有我复制到hdfs的文件的一部分块。但是令人不解的是,最终yarn还是在本地执行,因为看不到job id。而且在tmp文件夹下面看到了超大的临时文件,并且是在localrunner这么大,足以看出这是本机执行的任务,但是hdfs好像是对的,而且我是设置了hadoop.tmp.dir文件夹目录的,理论上应该不会在/tmp文件夹下出现大规模数据。我的配置文件如下,还请各位大侠不吝赐教:
core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.1.106:9000/</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/d230/HDFS</value>
</property>
</configuration>

hdfs-site.xml

<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/d230/HDFS/dfs/name</value>
</property>
<property>
<name>dfs.blocksize</name>
<value>64M</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/d230/HDFS/dfs/data</value>
</property>
<property>
<name>dfs.datanode.secondary.http-address</name>
<value>192.168.1.106:50090</value>
</property>
</configuration>

mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.map.memory.mb</name>
<value>1536</value>
</property>
<property>
<name>mapreduce.reduce.memory.mb</name>
<value>3072</value>
</property>
<property>
<name>mapreduce.task.io.sort.mb</name>
<value>512</value>
</property>
<property>
<name>mapreduce.task.io.sort.factor</name>
<value>100</value>
</property>
<property>
<name>yarn.app.mapreduce.am.staging-dir</name>
<value>file:/home/d230/HADOOP-YARN/staging</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>192.168.1.106:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>192.168.1.106:19888</value>
</property>
<property>
<name>mapreduce.jobtracker.http.address</name>
<value>192.168.1.106:50030</value>
</property>
</configuration>

yarn-site.xml

<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>192.168.1.106</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
并且在eclipse中我有写如下语句:

conf.addResource("/home/d230/hadoop/etc/hadoop/core-site.site.xml");
conf.addResource("/home/d230/hadoop/etc/hadoop/hdfs-site.site.xml");
conf.addResource("/home/d230/hadoop/etc/hadoop/mapred-site.xml");
conf.addResource("/home/d230/hadoop/etc/hadoop/yarn-site.site.xml");

请问到底是怎么回事??

已有(3)人评论

跳转到指定楼层
bioger_hit 发表于 2015-11-25 10:34:31
这里配置的是本地
<property>
<name>yarn.app.mapreduce.am.staging-dir</name>
<value>file:/home/d230/HADOOP-YARN/staging</value>
</property>

楼主加载的是本地配置文件吧,可能也会产生问题。先改改上面的看看情况

回复

使用道具 举报

佛上仞俐天 发表于 2015-11-25 13:03:46
唉,还是不行
回复

使用道具 举报

w123aw 发表于 2015-11-25 17:45:29

建议参考这篇:
hadoop(2.x)以hadoop2.2为例完全分布式最新高可靠安装文档
http://www.aboutyun.com/thread-7684-1-1.html



回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条