分享

win7 eclipise远程连接虚拟机centos 7 上面搭建hadoop2.7出错 求救

song5749 发表于 2015-6-18 10:18:23 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 10 46253
运行wordcount 报这个错误 求助啊
Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)V
        at org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Native Method)
        at org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode(NativeIO.java:524)
        at org.apache.hadoop.fs.RawLocalFileSystem.mkOneDirWithMode(RawLocalFileSystem.java:473)
        at org.apache.hadoop.fs.RawLocalFileSystem.mkdirsWithOptionalPermission(RawLocalFileSystem.java:526)
        at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:504)
        at org.apache.hadoop.fs.FilterFileSystem.mkdirs(FilterFileSystem.java:305)
        at org.apache.hadoop.mapreduce.JobSubmissionFiles.getStagingDir(JobSubmissionFiles.java:133)
        at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:147)
        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290)
        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Unknown Source)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1657)
        at org.apache.hadoop.mapreduce.Job.submit(Job.java:1287)
        at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1308)
        at com.hadoop.WordCountNew.run(WordCountNew.java:40)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
        at com.hadoop.WordCountNew.main(WordCountNew.java:77)


已有(10)人评论

跳转到指定楼层
muyannian 发表于 2015-6-18 10:34:36
hadoop集群是否有本地库。
本地开发环境是如何搭建的
回复

使用道具 举报

song5749 发表于 2015-6-18 10:47:17
muyannian 发表于 2015-6-18 10:34
hadoop集群是否有本地库。
本地开发环境是如何搭建的

hadoop是在win7的虚拟机上 搭建的 用的系统是centos7
core-site.xml 配置
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://namenode:9000</value>
</property> <property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hd_space/tmp</value>
</property>

</configuration>


hdfs-site.xml   配置
<configuration>

<property>
<name>dfs.name.dir</name>
<value>/home/hadoop/hd_space/hdfs/name</value>
</property>

<property>
<name>dfs.data.dir</name>
<value>/home/hadoop/hd_space/hdfs/data</value>
</property>

<property>
<name>dfs.replication</name>
<value>1</value>
</property>

<property>
<name>dfs.namenode.secondary.http-address</name>
<value>datanode1:50090</value>
</property>

<property>
<name>dfs.namenode.secondary.https-address</name>
<value>datanode1:50091</value>
</property>

<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>



mapred-site.xml配置
<configuration>

<property>
<name>mapreduce.cluster.local.dir</name>
<value>/home/hadoop/hd_space/mapred/local</value>
</property>

<property>
<name>mapreduce.cluster.system.dir</name>
<value>/home/hadoop/hd_space/mapred/system</value>
</property>

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

<property>
<name>mapreduce.jobhistory.address</name>
<value>namenode:10020</value>
</property>

<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>namenode:19888</value>
</property>

</configuration>






yarn-site.xml配置
<configuration>

<!-- Site specific YARN configuration properties -->

<property>
<description>The hostname of the RM.</description>
<name>yarn.resourcemanager.hostname</name>
<value>namenode</value>
</property>

<property>
<description>the valid service name should only contain a-zA-Z0-9_ and can not start with numbers</description>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

</configuration>

回复

使用道具 举报

muyannian 发表于 2015-6-18 11:01:42
song5749 发表于 2015-6-18 10:47
hadoop是在win7的虚拟机上 搭建的 用的系统是centos7
core-site.xml 配置

<property>
<name>dfs.name.dir</name>
<value>/home/hadoop/hd_space/hdfs/name</value>
</property>
尽量不要放在 home下,会遇到权限问题。
本地是否添加了下面一些插件



详细参考:

零基础学习hadoop到上手工作线路指导(编程篇)



回复

使用道具 举报

song5749 发表于 2015-6-18 11:27:05
muyannian 发表于 2015-6-18 11:01
dfs.name.dir
/home/hadoop/hd_space/hdfs/name

我给文件都赋了777的权限  
你给的那些文件我也都放在了里面
回复

使用道具 举报

muyannian 发表于 2015-6-18 13:05:37
song5749 发表于 2015-6-18 11:27
我给文件都赋了777的权限  
你给的那些文件我也都放在了里面

确保自己操作正确无误。一般都是环境造成的
回复

使用道具 举报

hiqj 发表于 2015-6-19 13:26:45
把eclipse中连接hadoop的连接信息贴出来看一下。
回复

使用道具 举报

996981912 发表于 2015-6-19 14:17:08
需要修改org.apache.hadoop.io.nativeio;包下的Native.IO这个类,否则会报错。
回复

使用道具 举报

OCG 发表于 2015-7-11 21:29:10
解决了没有呢,我也报这个错误了
回复

使用道具 举报

hzhz373241000 发表于 2015-7-30 17:38:43
我也是碰到了这个问题
回复

使用道具 举报

12下一页
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条