about云开发

 找回密码
 立即注册

QQ登录

只需一步,快速开始

扫一扫,访问微社区

楼主: pig2

[实操演练] hadoop开发方式总结及操作指导

  [复制链接]

0

主题

0

听众

0

收听

新手上路

Rank: 1

积分
10
发表于 2015-10-19 23:10:26 | 显示全部楼层
在myEclipse上已经可以正常的查看DFS 文件,但是每次run on hadoop 的时候都会在 job.waitForCompletion(true) 这报空指针异常。


跟9楼同样的问题,有大神知道怎么解决吗?



详细报错如下:

Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)V
        at org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Native Method)
        at org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode(NativeIO.java:524)
        at org.apache.hadoop.fs.RawLocalFileSystem.mkOneDirWithMode(RawLocalFileSystem.java:473)
        at org.apache.hadoop.fs.RawLocalFileSystem.mkdirsWithOptionalPermission(RawLocalFileSystem.java:526)
        at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:504)
        at org.apache.hadoop.fs.FilterFileSystem.mkdirs(FilterFileSystem.java:305)
        at org.apache.hadoop.mapreduce.JobSubmissionFiles.getStagingDir(JobSubmissionFiles.java:133)
        at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:144)
        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290)
        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:415)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1657)
        at org.apache.hadoop.mapreduce.Job.submit(Job.java:1287)
        at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1308)
        at Test_1.run(Test_1.java:81)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
        at Test_1.main(Test_1.java:117)
 楼主| 发表于 2015-10-20 08:42:48 | 显示全部楼层
6910 发表于 2015-10-19 23:10
在myEclipse上已经可以正常的查看DFS 文件,但是每次run on hadoop 的时候都会在 job.waitForCompletion(t ...

出现org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z .

0

主题

2

听众

0

收听

注册会员

Rank: 2

积分
97
发表于 2015-10-31 21:58:42 | 显示全部楼层
第二种配置好之后不能Run,不知道什么问题

0

主题

3

听众

1

收听

新手上路

Rank: 1

积分
45
发表于 2015-11-25 16:21:43 | 显示全部楼层
不错,楼主好人

0

主题

4

听众

0

收听

高级会员

Rank: 4

积分
1138
发表于 2016-1-22 19:21:16 | 显示全部楼层
感谢分享,顶你一贴!

0

主题

0

听众

0

收听

新手上路

Rank: 1

积分
17
发表于 2016-5-6 18:46:21 | 显示全部楼层
我将web项目打成war包在linux系统上运行提示232706 [http-bio-8080-exec-1-SendThread(BD04:2181)] DEBUG org.apache.zookeeper.ClientCnxn  - Reading reply sessionid:0x44fda7541862799, packet:: clientPath:null serverPath:null finished:false header:: 37,4  replyHeader:: 37,55838155312,-101  request:: '/hbase/meta-region-server,F  response::  
232707 [http-bio-8080-exec-1] DEBUG org.apache.hadoop.hbase.zookeeper.ZKUtil  - hconnection-0x41ed426-0x44fda7541862799, quorum=BD04.bd.bjtel:2181,BD03.bd.bjtel:2181,BD02.bd.bjtel:2181,BD01.bd.bjtel:2181,BD05.bd.bjtel:2181, baseZNode=/hbase Unable to get data of znode /hbase/meta-region-server because node does not exist (not an error)
Unable to get data of znode /hbase/meta-region-server because node does not exist (not an error)
请问这个问题是怎么回事??

171

主题

34

听众

36

收听

高级会员

Rank: 4

积分
3983

最佳新人活跃会员热心会员

发表于 2016-5-6 20:20:00 | 显示全部楼层
万恶的魔法 发表于 2016-5-6 18:46
我将web项目打成war包在linux系统上运行提示232706 [http-bio-8080-exec-1-SendThread(BD04:2181)] DEBUG o ...

baseZNode=/hbase Unable to get data of znode /hbase/meta-region-server because node does not exist (not an error)确保没有拼错
欢迎加入about云群425860289432264021 ,云计算爱好者群,关注about云腾讯认证空间

21

主题

9

听众

8

收听

中级会员

Rank: 3Rank: 3

积分
812
发表于 2016-5-6 20:25:42 | 显示全部楼层
万恶的魔法 发表于 2016-5-6 18:46
我将web项目打成war包在linux系统上运行提示232706 [http-bio-8080-exec-1-SendThread(BD04:2181)] DEBUG o ...

/hbase/meta-region-server
看下根目录是否是 /hbase/,在 /hbase/meta-region-server 这个下面找不到节点

0

主题

0

听众

0

收听

新手上路

Rank: 1

积分
17
发表于 2016-5-8 12:29:51 | 显示全部楼层
muyannian 发表于 2016-5-6 20:25
/hbase/meta-region-server
看下根目录是否是 /hbase/,在 /hbase/meta-region-server 这个下面找不到 ...

不是,这个是从debug上摘下来的,根目录下没有"/hbase"   ,我这样配的,你看有什么问题吗??

2

主题

6

听众

1

收听

中级会员

Rank: 3Rank: 3

积分
374
发表于 2016-7-30 11:21:39 | 显示全部楼层
求助个问题,我在window的eclipse引入了插件,可以通过插件浏览HDFS上的文件,但是无法通过run on hadoop把任务提交到hadoop集群中去执行,我没有导入配置文件,也没有在Runner类中手动设置配置信息,我记得插件会帮我把需要提交集群的所需的配置设置好,这是啥原因呢?希望指教一下,谢谢。
附上我的Runner类:
rh.png
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /3 下一条

QQ|小黑屋|about云开发-学问论坛|社区 ( 京ICP备12023829号

GMT+8, 2019-7-17 20:56 , Processed in 0.552935 second(s), 35 queries , Gzip On.

Powered by Discuz! X3.2 Licensed

快速回复 返回顶部 返回列表