about云开发

 找回密码
 立即注册

QQ登录

只需一步,快速开始

扫一扫,访问微社区

[实操演练] hadoop2.2 eclipse连接hdfs(hadoop)

[复制链接]
pig2 发表于 2014-6-20 14:18:48 | 显示全部楼层 |阅读模式
本帖最后由 pig2 于 2014-8-16 23:53 编辑
问题导读:
1.连接hdfs,hadoop-eclipse-plugin-2.2.0.jar插件放在什么位置?
2.如何在eclipse查看mapreduce?
3.如何创建hadoop location,看到hdfs文件?
4.分布式多个节点,连接那个节点,可以看到hdfs文件?






1. 下载Eclipse

下载地址:http://www.eclipse.org/downloads/

根据操作系统类型,选择合适的版本下载并安装。


2.下载并编译Hadoop的Eclipse插件

hadoop-eclipse-plugin-2.2.0.jar
链接: http://pan.baidu.com/s/1sjQ6Nnv 密码: uvwx
更多插件参考:
hadoop家族、strom、spark、Linux、flume等jar包、安装包汇总下载


3.配置Hadoop插件

将下载的hadoop-eclipse-plugin-2.2.0.jar文件放到Eclipse的dropins目录下,重启Eclipse即可看到该插件已生效。


droplins.png



重启之后,我们打开如下菜单

通过window->Open Perspective->other菜单打开Map Reduce视图,如下:
maprecue1.png



看到如下Map/Reduce图标


mapreduce2.png


选中大象图标,右键点击New Hadoop Location编辑Hadoop配置信息,然后配置端口

newmapreduce.png


mapreduce3.png

(有时候我们在配置单时候找不到
mapreduce location.png

下面教给大家怎么调出“Map/Reduce Locations
配置Map/Reduce Locations。
在Window-->Show View中打开Map/Reduce Locations。
在Map/Reduce Locations中新建一个Hadoop Location。在这个View中,右键-->New Hadoop Location。在弹出的对话框中你需要配置Location name,如Hadoop,还有Map/Reduce Master和DFS Master。这里面的Host、Port分别为你在mapred-site.xml、core-site.xml中配置的地址及端口。如:
Map/Reduce Master



疑问回答:
1.50020端口的配置采用的是默认,在配置文件中并没有配置
2.8020端口是hdfs的配置端口,也就是当我们访问hdfs所使用的端口:比如:
hadoop fs -ls hdfs://master:8020/

在core-site-site中配置如下:
  1. <property>
  2.                 <name>fs.defaultFS</name>
  3.                 <value>hdfs://master:8020</value>
  4.        </property>
复制代码

详细配置可以参考:
hadoop2.2完全分布式最新高可靠安装文档


visit.png











gwzydd 发表于 2014-7-15 16:56:24 | 显示全部楼层
很好,正式我需要的文章
破灭永恒 发表于 2014-11-3 16:14:14 | 显示全部楼层
 楼主| pig2 发表于 2014-11-3 16:17:07 | 显示全部楼层
这不是连接上了吗
hero1122 发表于 2014-12-20 22:44:18 | 显示全部楼层
能不能用hadoop2.2版本的eclipse插件连接更高版本的hdfs?如2.4或2.5版本……
zzuyao 发表于 2015-1-12 22:05:41 | 显示全部楼层
2.8020端口是hdfs的配置端口,也就是当我们访问hdfs所使用的端口:比如:
hadoop fs -ls hdfs://master:8020/

在core-site-site中配置如下:
  • <property>
  •                 <name>fs.defaultFS</name>
  •                 <value>hdfs://master:8020</value>
  •        </property>

复制代码

----------------------
请教一下,如果fs.defaultFs配置的是ha集群,如,hdfs://mycluster0,那么在Eclipse调试时,指定的端口号应该怎么写呢?写成active状态哪个host和port吗?还是?
tang 发表于 2015-3-8 15:47:55 | 显示全部楼层
这样做的,为什么一直无法连接上呢???
 楼主| pig2 发表于 2015-3-8 23:19:57 | 显示全部楼层
tang 发表于 2015-3-8 15:47
这样做的,为什么一直无法连接上呢???

插件跟版本有关系,最好自己编译
dashatangtang 发表于 2015-4-23 22:14:31 | 显示全部楼层
楼主请问,这个插件是多少位的,64吗?
drizt007 发表于 2015-7-6 23:58:04 | 显示全部楼层
。。问下 为什么仅仅设置了用户名  不用密码就可以直接访问HDFS  并作操作呢?
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /3 下一条

QQ|小黑屋|about云开发-学问论坛|社区 ( 京ICP备12023829号 )

GMT+8, 2019-8-20 06:46 , Processed in 1.328125 second(s), 31 queries , Gzip On.

Powered by Discuz! X3.4 Licensed

© 2018 Comsenz Inc.Designed by u179

快速回复 返回顶部 返回列表