立即注册 登录
About云-梭伦科技 返回首页

Gatsby的个人空间 https://www.aboutyun.com/?15042 [收藏] [复制] [分享] [RSS]

日志

Windows下Eclipse连接HDFS

热度 1已有 2610 次阅读2015-4-27 00:02 |个人分类:hadoop,Eclipse| Windows, Eclipse, HDFS, Eclipse

这网上都可以查得到,我只是做了一些整理,jar什么的如果有需要可以联系我。言归正传,下图直接说步骤。
注释:上次由于直接把word中的内容copy过来,导致图片没有显示出来,在此表示歉意。本次插图已经附上,仅供参考。
1.Windows下的部署

第一步,安装Eclipse

第二步,解压与Linux中版本完全一样的hadoop

第三步,在Windows环境变量中配置HADOOP_HOMEPATH

第四步,在EclipsePreference中进行如下配置

2.添加jar

第一步,配置Hadoop插件。将hadoop-eclipse-plugin.jar文件放到Eclipsedropins目录下或者是plugin目录下。重启Eclipse即可看到该插件生效,打开“Window——>Open Perspective——>Other”即可看到“Map/Reduce”图标,如下图:

第二步,添加hadoop.dllwinutils.exe文件(注意:winutils文件的位数要与Windows系统是一样,要么都是32bit,要么都是64bit)。并且这两个文件添加到Windowshadoop目录下的bin目录中。

3.创建Hadoop location

在“Map/Reduce Location”空白处右键单击,出现下图:

选择“New Hadoop location”,出现下图:

4.解决WindowsEclipse权限问题

Eclipse使用hadoop插件提交作业时,会默认以 AdministratorWindows系统用户名)身份去将作业写入hdfs文件系统中,对应的也就是 HDFS 上的/user/hadoop ,  由于 Administrator用户对hadoop目录并没有写入权限,所以导致异常的发生。解决方法为:放开 hadoop 目录的权限。这里用两种方法:

Ø  执行命令:hadoop fs -chmod 777 /user/hadoop

Ø  修改hdfs-site.xml文件配置如下

<property> 

          <name>dfs.permissions</name>

           <value>false</value>

        <description>

 If "true", enable permission checking in HDFS. If "false", permission checking is turned off,  but all other behavior is unchanged. Switching from one parameter value to the other does   not change the mode, owner or group of files or directories

           </description>

  </property>


路过

雷人
1

握手

鲜花

鸡蛋

刚表态过的朋友 (1 人)

评论 (0 个评论)

facelist doodle 涂鸦板

您需要登录后才可以评论 登录 | 立即注册

关闭

推荐上一条 /2 下一条