about云开发

 找回密码
 立即注册

QQ登录

只需一步,快速开始

扫一扫,访问微社区

查看: 52617|回复: 7

[实操演练] windows eclipse运行mapreduce遇到权限问题该如何解决

[复制链接]
发表于 2014-5-9 23:57:51 | 显示全部楼层 |阅读模式
本帖最后由 nettman 于 2014-5-10 01:54 编辑
问题导读:
1.对于hadoop开发方式总,采用本地引入包的开发方式,会遇到什么问题,该如何解决?





根据hadoop开发方式总结及操作指导


采用第一种开发方式,我们会遇到权限问题,面对这个问题,该如何解决,有两种解决办法:

第一种解决办法:
1、重新编译hadoop-core-xxx.jar包1. 原因 当用hadoop中自带的hadoop-core-xxx.jar包时,会出现UserGroupInformation类型的错误,这个是Windows下文件权限问题,在Linux下可以正常运行。
2. 解决方案 修改/hadoop-xxx/src/core/org/apache/hadoop/fs/FileUtil.java里的checkReturnValue,注释掉其中代码即可,重新编译后替换原hadoop-core-xxx.jar包中FileUtil.java,再替换掉hadoop-xxx根目录下的hadoop-core-xxx.jar即可。
修改前:

  1. private static void checkReturnValue(boolean rv, File p,
  2. FsPermission permission
  3. ) throws IOException {
  4. if (!rv) {
  5. throw new IOException("Failed to set permissions of path: " + p +
  6. " to " +
  7. String.format("%04o", permission.toShort()));
  8. }
  9. }
复制代码
修改后:


  1. private static void checkReturnValue(boolean rv, File p,
  2. FsPermission permission
  3. ) throws IOException {

  4. }
复制代码
被修改后FileUtil.java文件
FileUtil.zip (6.41 KB, 下载次数: 84)

5

主题

2

听众

0

收听

注册会员

Rank: 2

积分
83
发表于 2014-5-10 00:53:49 | 显示全部楼层
补充另外一种权限问题:原文:hadoop常见错误汇总及解决办法一
用window 提交eclipse 任务发现权限不通过:
原因:本地用户administrator(本机windows用户)想要远程操作hadoop系统,没有权限引起的。

解决办法:
1、如果是测试环境,可以取消hadoop hdfs的用户权限检查。打开conf/hdfs-site.xml,找到dfs.permissions属性修改为false(默认为true)OK了。(1.2.1 版本只有这个方法可行),如何操作可以参考第一个问题。


2、修改hadoop location参数,在advanced parameter选项卡中,找到hadoop.job.ugi项,将此项改为启动hadoop的用户名即可
3 修改window 机器的用户名为 hadoop 用户名。


0

主题

6

听众

0

收听

高级会员

Rank: 4

积分
1822
发表于 2014-11-29 09:46:56 | 显示全部楼层
以前遇到过这个问题,受教了

0

主题

8

听众

9

收听

高级会员

Rank: 4

积分
1153
发表于 2015-4-1 22:00:29 | 显示全部楼层
遇到了这种问题,学习了

0

主题

8

听众

9

收听

高级会员

Rank: 4

积分
1153
发表于 2015-4-2 16:37:16 | 显示全部楼层

0

主题

2

听众

0

收听

中级会员

Rank: 3Rank: 3

积分
314
发表于 2015-4-30 09:20:59 | 显示全部楼层
之前碰到过这个问题,改掉了FileUtil类。
涨姿势了,感谢

0

主题

3

听众

1

收听

注册会员

Rank: 2

积分
54
发表于 2016-12-24 22:28:52 | 显示全部楼层
感谢楼主分享
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /3 下一条

QQ|小黑屋|about云开发-学问论坛|社区 ( 京ICP备12023829号

GMT+8, 2019-6-16 09:07 , Processed in 12.348936 second(s), 33 queries , Gzip On.

Powered by Discuz! X3.2 Licensed

快速回复 返回顶部 返回列表