分享

hadoop2.5.2: windows7下 eclipse开发环境配置



问题导读

1.远程开发,Hadoop中xml文件如何修改访问权限?
2.eclipse环境配置包含哪些步骤?






一.hadoop集群环境配置
参考我的前一篇文章(ubuntu + hadoop2.5.2分布式环境配置 http://www.cnblogs.com/huligong1234/p/4136331.html


但本人配置时还修改了如下内容(由于你的环境和我的可能不一致,可以在后面出现相关问题后再进行修改):
a.在master节点上(ubuntu-V01)修改hdfs-site.xml加上以下内容
  1. <property>
  2. <name>dfs.permissions</name>
  3. <value>false</value>
  4. </property>
复制代码


旨在取消权限检查,原因是为了解决我在windows机器上配置eclipse连接hadoop服务器时,配置map/reduce连接后报以下错误,org.apache.hadoop.security.AccessControlException: Permission denied:


b.同样在master节点上(ubuntu-V01)修改hdfs-site.xml加上以下内容
  1. <property>
  2. <name>dfs.web.ugi</name>
  3. <value>jack,supergroup</value>
  4. </property>
复制代码



原因是运行时,报如下错误 WARN org.apache.hadoop.security.ShellBasedUnixGroupsMapping: got exception trying to get groups for user jack
应该是我的windows的用户名为jack,无访问权限
更多权限配置可参看官方说明文档:
HDFS权限管理用户指南http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_permissions_guide.html

配置修改完后重启hadoop集群:
  1. hadoop@ubuntu-V01:~/data$./sbin/stop-dfs.sh
  2. hadoop@ubuntu-V01:~/data$./sbin/stop-yarn.sh
  3. hadoop@ubuntu-V01:~/data$./sbin/start-dfs.sh
  4. hadoop@ubuntu-V01:~/data$./sbin/start-yarn.sh
复制代码




二.windows基础环境准备
windows7(x64),jdk,ant,eclipse,hadoop

1.jdk环境配置
jdk-6u26-windows-i586.exe安装后好后配置相关JAVA_HOME环境变量,并将bin目录配置到path

2.eclipse环境配置
eclipse-standard-luna-SR1-win32.zip解压到D:\eclipse\目录下并命名eclipse-hadoop
下载地址:http://developer.eclipsesource.com/technology/epp/luna/eclipse-standard-luna-SR1-win32.zip
3.ant环境配置
apache-ant-1.9.4-bin.zip解压到D:\apache\目录下,配置环境变量ANT_HOME,并将bin目录配置到path
下载地址:http://mirror.bit.edu.cn/apache//ant/binaries/apache-ant-1.9.4-bin.zip

4.下载hadoop-2.5.2.tar.gz
http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.5.2/hadoop-2.5.2.tar.gz

5.下载hadoop-2.5.2-src.tar.gz
http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.5.2/hadoop-2.5.2-src.tar.gz

6.下载hadoop2x-eclipse-plugin
https://github.com/winghc/hadoop2x-eclipse-plugin

7.下载hadoop-common-2.2.0-bin
https://github.com/srccodes/hadoop-common-2.2.0-bin

分别将hadoop-2.5.2.tar.gz、hadoop-2.5.2-src.tar.gz、hadoop2x-eclipse-plugin、hadoop-common-2.2.0-bin下载解压到F:\hadoop\目录下


8.修改本地hosts文件,加入如下内容:
192.168.1.112 ubuntu-V01

三、编译hadoop-eclipse-plugin-2.5.2.jar配置
1.添加环境变量HADOOP_HOME=F:\hadoop\hadoop-2.5.2\
追加环境变量path内容:%HADOOP_HOME%/bin

2.修改编译包及依赖包版本信息
修改F:\hadoop\hadoop2x-eclipse-plugin-master\ivy\libraries.properties
hadoop.version=2.5.2
jackson.version=1.9.13

3.ant编译
F:\hadoop\hadoop2x-eclipse-plugin-master\src\contrib\eclipse-plugin>
ant jar -Dversion=2.5.2 -Declipse.home=D:\eclipse\eclipse-hadoop\eclipse -Dhadoop.home=F:\hadoop\hadoop-2.5.2

编译好后hadoop-eclipse-plugin-2.5.2.jar会在F:\hadoop\hadoop2x-eclipse-plugin-master\build\contrib\eclipse-plugin目录下


四、eclipse环境配置
1.将编译好的hadoop-eclipse-plugin-2.5.2.jar拷贝至eclipse的plugins目录下,然后重启eclipse
2.打开菜单Window--Preference--Hadoop Map/Reduce进行配置,如下图所示:
1.png

3.显示Hadoop连接配置窗口:Window--Show View--Other-MapReduce Tools,如下图所示:
2.png

4.配置连接Hadoop,如下图所示:
3.png

查看是否连接成功,能看到如下信息,则表示连接成功:
4.png


五、hadoop集群环境添加测试文件
(如果已有则无需配置)

a.dfs上创建input目录
hadoop@ubuntu-V01:~/data/hadoop-2.5.2$bin/hadoop fs -mkdir -p input

b.把hadoop目录下的README.txt拷贝到dfs新建的input里
hadoop@ubuntu-V01:~/data/hadoop-2.5.2$bin/hadoop fs -copyFromLocal README.txt input


六、创建一个Map/Reduce Project
1.新建项目 File--New--Other--Map/Reduce Project 命名为MR1,
然后创建类org.apache.hadoop.examples.WordCount,从hadoop-2.5.2-src中拷贝覆盖
(F:\hadoop\hadoop-2.5.2-src\hadoop-mapreduce-project\hadoop-mapreduce-examples\src\main\java\org\apache\hadoop\examples\WordCount.java)

2.创建log4j.properties文件
在src目录下创建log4j.properties文件,内容如下:
log4j.rootLogger=debug,stdout,R
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%5p - %m%n
log4j.appender.R=org.apache.log4j.RollingFileAppender
log4j.appender.R.File=mapreduce_test.log
log4j.appender.R.MaxFileSize=1MB
log4j.appender.R.MaxBackupIndex=1
log4j.appender.R.layout=org.apache.log4j.PatternLayout
log4j.appender.R.layout.ConversionPattern=%p %t %c - %m%n
log4j.logger.com.codefutures=DEBUG

3.解决java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)异常问题
(由于你的环境和我的可能不一致,可以在后面出现相关问题后再进行修改)
拷贝源码文件org.apache.hadoop.io.nativeio.NativeIO到项目中
然后定位到570行,直接修改为return true;
如下图所示:
5.png


七、windows下运行环境配置
(如果不生效,则需要重启机器)

需要hadoop.dll,winutils.exe
我是直接拷贝F:\hadoop\hadoop-common-2.2.0-bin-master\bin目录下内容覆盖F:\hadoop\hadoop-2.5.2\bin


八、运行project
在eclipse中点击WordCount.java,右键,点击Run As—>Run Configurations,配置运行参数,即输入和输出文件夹
hdfs://ubuntu-V01:9000/user/hadoop/input hdfs://ubuntu-V01:9000/user/hadoop/output
如下图所示:
6.png

注意:如果output目录已经存在,则删掉或换个名字,如output01,output02 。。。


另外,出现问题可以多看日志(http://ubuntu-v01:8088/logs/)



参看资料:

Win7中使用Eclipse连接虚拟机中的Ubuntu中的Hadoop2.4经验总结
http://www.aboutyun.com/thread-7784-1-1.html

hadoop2.2 eclipse连接hdfs(hadoop)
http://www.aboutyun.com/thread-8190-1-1.html

新手指导:Windows上使用Eclipse远程连接Hadoop进行程序开发
http://www.aboutyun.com/thread-6001-1-1.html

windows eclipse运行mapreduce遇到权限问题该如何解决
http://www.aboutyun.com/thread-7660-1-1.html

hadoop开发方式总结及操作指导
http://www.aboutyun.com/thread-6950-1-1.html

我遇到的hadoop错误和解决方法汇总
http://heipark.iteye.com/blog/786302

HDFS权限管理用户指南
http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_permissions_guide.html


来源:
http://www.cnblogs.com/huligong1234/p/4137133.html





已有(8)人评论

跳转到指定楼层
韩克拉玛寒 发表于 2014-12-8 09:04:13
很好的文章,谢谢分享
回复

使用道具 举报

hb1984 发表于 2014-12-8 14:39:11
谢谢楼主分享。            
回复

使用道具 举报

℡.小天 发表于 2014-12-12 14:14:48
回复

使用道具 举报

asdtest 发表于 2015-3-31 15:23:03
  1. Configuration conf = new Configuration();
  2.                 String[] otherArgs = new GenericOptionsParser(conf, args)
  3.                                 .getRemainingArgs();
  4.                 if (otherArgs.length < 2) {
  5.                         System.err.println("Usage: wordcount <in> [<in>...] <out>");
  6.                         System.exit(2);
  7.                 }
  8.                 Job job = new Job(conf, "My Test");
  9.                 job.setJarByClass(MapReduce2.class);
  10.                 job.setMapperClass(TokenizerMapper.class);
  11.                 job.setCombinerClass(IntSumReducer.class);
  12.                 job.setReducerClass(IntSumReducer.class);
  13.                 job.setOutputKeyClass(Text.class);
  14.                 job.setOutputValueClass(Text.class);
复制代码

咨询一下,2.5.2的这个WordCount例子,启动job的时候有使用YARN吗?新手一个,表示不太懂怎么算是使用了YARN框架。。
回复

使用道具 举报

yongjian3311 发表于 2015-4-7 23:33:13
回复

使用道具 举报

yunmin 发表于 2015-5-5 10:19:02
楼主确定ant在执行时没有错误吗?我执行ant时出现了错误,都不知怎么改?实在Win7下,eclipse使用的是3.9.1,提醒说build failed
~:\contrib\build-contrib.xml:493:impossible to resolve dependencies:
resolve failed - see output for details
回复

使用道具 举报

lefuhan 发表于 2015-7-3 15:20:39
yunmin 发表于 2015-5-5 10:19
楼主确定ant在执行时没有错误吗?我执行ant时出现了错误,都不知怎么改?实在Win7下,eclipse使用的是3.9.1 ...

哥们,你这个问题解决了吗?如何解决的?我也碰到这样的问题了。求教

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条