分享

hadoop开发方式总结及操作指导

 
6910 发表于 2015-10-19 23:10:26
在myEclipse上已经可以正常的查看DFS 文件,但是每次run on hadoop 的时候都会在 job.waitForCompletion(true) 这报空指针异常。


跟9楼同样的问题,有大神知道怎么解决吗?



详细报错如下:

Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)V
        at org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Native Method)
        at org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode(NativeIO.java:524)
        at org.apache.hadoop.fs.RawLocalFileSystem.mkOneDirWithMode(RawLocalFileSystem.java:473)
        at org.apache.hadoop.fs.RawLocalFileSystem.mkdirsWithOptionalPermission(RawLocalFileSystem.java:526)
        at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:504)
        at org.apache.hadoop.fs.FilterFileSystem.mkdirs(FilterFileSystem.java:305)
        at org.apache.hadoop.mapreduce.JobSubmissionFiles.getStagingDir(JobSubmissionFiles.java:133)
        at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:144)
        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290)
        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:415)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1657)
        at org.apache.hadoop.mapreduce.Job.submit(Job.java:1287)
        at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1308)
        at Test_1.run(Test_1.java:81)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
        at Test_1.main(Test_1.java:117)
回复

使用道具 举报

pig2 发表于 2015-10-20 08:42:48
6910 发表于 2015-10-19 23:10
在myEclipse上已经可以正常的查看DFS 文件,但是每次run on hadoop 的时候都会在 job.waitForCompletion(t ...

出现org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z .
回复

使用道具 举报

zjj123457 发表于 2015-10-31 21:58:42
第二种配置好之后不能Run,不知道什么问题
回复

使用道具 举报

hello1988 发表于 2015-11-25 16:21:43
不错,楼主好人
回复

使用道具 举报

a530491093 发表于 2016-1-22 19:21:16
感谢分享,顶你一贴!
回复

使用道具 举报

万恶的魔法 发表于 2016-5-6 18:46:21
我将web项目打成war包在linux系统上运行提示232706 [http-bio-8080-exec-1-SendThread(BD04:2181)] DEBUG org.apache.zookeeper.ClientCnxn  - Reading reply sessionid:0x44fda7541862799, packet:: clientPath:null serverPath:null finished:false header:: 37,4  replyHeader:: 37,55838155312,-101  request:: '/hbase/meta-region-server,F  response::  
232707 [http-bio-8080-exec-1] DEBUG org.apache.hadoop.hbase.zookeeper.ZKUtil  - hconnection-0x41ed426-0x44fda7541862799, quorum=BD04.bd.bjtel:2181,BD03.bd.bjtel:2181,BD02.bd.bjtel:2181,BD01.bd.bjtel:2181,BD05.bd.bjtel:2181, baseZNode=/hbase Unable to get data of znode /hbase/meta-region-server because node does not exist (not an error)
Unable to get data of znode /hbase/meta-region-server because node does not exist (not an error)
请问这个问题是怎么回事??
回复

使用道具 举报

langke93 发表于 2016-5-6 20:20:00
万恶的魔法 发表于 2016-5-6 18:46
我将web项目打成war包在linux系统上运行提示232706 [http-bio-8080-exec-1-SendThread(BD04:2181)] DEBUG o ...

baseZNode=/hbase Unable to get data of znode /hbase/meta-region-server because node does not exist (not an error)确保没有拼错
回复

使用道具 举报

muyannian 发表于 2016-5-6 20:25:42
万恶的魔法 发表于 2016-5-6 18:46
我将web项目打成war包在linux系统上运行提示232706 [http-bio-8080-exec-1-SendThread(BD04:2181)] DEBUG o ...

/hbase/meta-region-server
看下根目录是否是 /hbase/,在 /hbase/meta-region-server 这个下面找不到节点

回复

使用道具 举报

万恶的魔法 发表于 2016-5-8 12:29:51
muyannian 发表于 2016-5-6 20:25
/hbase/meta-region-server
看下根目录是否是 /hbase/,在 /hbase/meta-region-server 这个下面找不到 ...

不是,这个是从debug上摘下来的,根目录下没有"/hbase"   ,我这样配的,你看有什么问题吗??
回复

使用道具 举报

smartleon 发表于 2016-7-30 11:21:39
求助个问题,我在window的eclipse引入了插件,可以通过插件浏览HDFS上的文件,但是无法通过run on hadoop把任务提交到hadoop集群中去执行,我没有导入配置文件,也没有在Runner类中手动设置配置信息,我记得插件会帮我把需要提交集群的所需的配置设置好,这是啥原因呢?希望指教一下,谢谢。
附上我的Runner类:
rh.png
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条