hadoop2.4、Hadoop2.5插件下载、完全分布式、伪分布、eclipse插件开发大全

hadoop2.4插件下载、完全分布式、伪分布、eclipse插件开发大全

2.4.png

hadoop2.4插件下载、完全分布式、伪分布、eclipse插件开发大全.pdf (136.84 KB, 下载次数: 105)

2014-8-17 22:14 上传

点击文件名下载附件

hadoop2.5汇总：新特性、安装包、Eclipse插件及集群安装
hadoop2.5.png

hadoop2.5汇总：新特性、安装包、Eclipse插件及集群安装.pdf (449.71 KB, 下载次数: 123)

2014-8-17 22:14 上传

点击文件名下载附件

具体包含如下内容：

本文链接：

http://www.aboutyun.com/thread-7795-1-1.html

hadoop2.4版本的发布，很多童鞋都想了解其新特性:
它们做了哪些改变？
该如何伪分布、完全分布安装？
它们和前面版本有什么不同？

这里做一个汇总

一、hadoop2.4的改进
Hadoop 2.4.0版本的改进
阐述了下面问题：
1.HDFS权限加强表现在哪方面？
2.HDFS的状态如何通过web端口访问？
3.ResourceManager是否支持HA（高可用）？
4.Capacity scheduler是否支持资源抢占，原理是什么？

二、如何去官网下载最新版本hadoop有些同学不知道官网怎么，该怎么查看最新版本下面内容交给大家：
新手指导：hadoop官网介绍及如何下载hadoop（2.4）各个版本与查看hadoop API介绍

本贴阐述了下面问题：
1.如何访问hadoop官网？
2.如何下载hadoop各个版本？
3.如何查看hadoopAPI?

三、各种插件下载
很多同学不喜欢去官网，这里给大家下载下来，并且有编译了64位安装包分享：
原文：hadoop2.4最新版本各种包下载
插件包包括下面插件：

（1）代码包：hadoop-2.4.0-src.tar.gz

（2）hadoop-2.4.0-64bit.tar.gz
（3）hadoop-eclipse-plugin-2.4.0插件包：
（4）32位安装下载

四、伪分布是安装
hadoop2.4.0 伪分布安装配置

阐述如下问题：
1.如何判断格式化成功？
2.hadoop2.4启动方式是否发生变化？
3.hadoop2.4在配置方面是否有变化？
4.伪分布的安装步骤？

五、完全分式布安装
hadoop2.4的完全伪分布安装包不同的系统及文档下载
Hadoop 2.4 完全分布式环境安装与配置及配置信息介绍
上面帖子交全，包括配置信息的解释
CentOS6 hadoop2.4完全分布式安装文档

上面适合在centOS上面安装
Hadoop-2.4.0 分布式安装手册（下载）

安装手册为下载文档
如果想了解的跟详细，可以比较他们的区别。

六、编译与开发
Win7中使用Eclipse连接虚拟机中的Ubuntu中的Hadoop2.4经验总结
阐述了：
1.log4j文件的作用是什么？
2.hadoop.dll，winutils.exe的作用是什么？
编译64位Hadoop2.4总结

阐述了：
1.32位安装在64位会出现什么问题？
2.an ant buildxception hasoccured exec returned 1这个错误的可能原因是什么？

Hadoop2.4.0 Eclipse插件制作及问题记录

阐述了：
1.build.xml文件的作用是什么？
2.hadoop2.4用的commons-lang-2.6.jar，在build.xml中该如何修改？
3.插件包的制作需要经过几个步骤？

问题导读：
1.如何获取Hadoop安装包?
2.编译Hadoop过程中，需要注意哪些问题?
3.如何寻找API？
4.如何获取Hadoop源码？

上述问题有的在本文，有的则在本文链接，感兴趣，可以找找答案

2014年08月06日 Hadoop2.5发布

官网下载地址

对Hadoop2.5进行了编译，编译的时候根据从零教你在Linux环境下（ubuntu）如何编译hadoop2.4帖子编译，遇到了问题。如下

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.7:run (create-testdirs) on project hadoop-project: Error executing ant tasks: /home/aboutyun/hadoop-2.5.0-src/hadoop-project/target/antrun/build-main.xml (No such file or directory) -> [Help 1]

原来又忘记了，权限问题。
（aboutyun为当前用户组和用户名，需要根据自己的情况来）
通过下面命令修改：

sudo chown -R aboutyun:aboutyun hadoop-2.5.0-src

[color=rgb(51, 102, 153) !important]复制代码
ok,进行下一步
经过半个小时，编译成功

下面附上各种包：

hadoop-2.5.0-linux64-aboutyun.tar.gz
链接：http://pan.baidu.com/s/1i3BpmIx 密码：

游客，如果您要查看本帖隐藏内容请回复

hadoop-eclipse-plugin-2.5.0
下面附上在win7下，Eclipse版本为3.9.1的插件
链接：http://pan.baidu.com/s/1dDkZbWH 密码:

游客，如果您要查看本帖隐藏内容请回复

hadoop-2.5.0-Linux32-aboutyun.tar.gz
链接：http://pan.baidu.com/s/1kTJYFdX 密码：wv33

hadoop-2.5.0-src.tar.gz
链接：http://pan.baidu.com/s/1jGp861K 密码：cq2k

hadoop-2.5.0-src.tar.gz是个maven包，如果想获取源码，可以参考

从零教你如何获取hadoop2.4源码并使用eclipse关联hadoop2.4源码

Hadoop2.5 API
链接：http://pan.baidu.com/s/1jGGCSAE 密码：

游客，如果您要查看本帖隐藏内容请回复

下载之后是html版，单击Index.html即可看到更详细参考：
新手指导：hadoop官网介绍及如何下载hadoop（2.4）各个版本与查看hadoop API介绍

新特性参考：
Hadoop 2.5.0新特性和改进

更多包参考：
hadoop家族、strom、spark、Linux、flume等jar包、安装包汇总下载(持续更新)

问题导读
1.hadoop-eclipse-plugin源码如何下载？
2.插件编译需要哪些准备？
3.使用什么命令可以编译Eclipse插件？

制作过程：

1.首先从git下载源码
下载地址：
https://github.com/winghc/hadoop2x-eclipse-plugin百度网盘下载：
链接：http://pan.baidu.com/s/1o6DMY4U 密码：y95i

下载之后，我们会看到下面文件夹

对于像安装git的用户，可以查看下面帖子
软件版本控制-在Windows中使用Git视频介绍

win7安装 git软件下载以及遇到的问题解决解决方法

2.win7编译

2.1编译准备
win7的编译首先需要安装jdk、ant、Eclipse

同样window也可以进行编译，环境如下图所示这里的
Eclipse的版本：
Version: 3.9.1.201308190730
Build id: 3.9.0.201308190730

Eclipse的安装

Eclipse安装很重要，而且版本很重要，最好能版本一致，因为如果你在Linux制作的插件，只能用于Linux，windows插件只能用于windows，具体的Eclipse版本也尽可能一致，否则会遇到各种问题

2.2编译

aboutyun@master:~/hadoop2x-eclipse-plugin/src/contrib/eclipse-plugin$ ant jar -Dversion=2.5.0 -Declipse.home=/usr/eclipse -Dhadoop.home=/usr/hadoop

参数说明：
1.Dversion是你编译的版本，此版本为2.5.0
2.Declipse.home是Eclipse安装目录
3.Dhadoop.home是Hadoop安装目录

执行如下命令：

E:\hadoop2x-eclipse-plugin\src\contrib\eclipse-plugin>ant jar -Dversion=2.5.0 -D
eclipse.home=E:\eclipseIDE -Dhadoop.home=E:\bianyi\hadoop-2.2.0

[color=rgb(51, 102, 153) !important]复制代码

上面Hadoop home需要说明的是，这里并不是使用的Hadoop2.5.0，经过各种验证，Dhadoop.home如果使用的是Hadoop2.5是非常痛苦的，需要各种修改，而且不一定能改正确。那么为什么Hadoop home是Hadoop2.2版本的也可以连接Hadoop2.5，这个需要了解内部原理了，感兴趣的同学，可以研究下。

下面附上在win7下，Eclipse版本为3.9.1的插件
链接：http://pan.baidu.com/s/1dDkZbWH 密码：

游客，如果您要查看本帖隐藏内容请回复

然后尝试连接集群：
首先确认集群版本：

1.把插件放入plugins文件夹
然后打开win7下Eclipse，将hadoop-eclipse-plugin-2.5.0.jar插件放到Eclipse安装目录的plugins文件夹下，我这里的路径是E:\eclipseIDE\plugins
其实放到这里面已经完成大部分了。

2.重启Eclipse
通过window-》preference 找到下图所示，选择Hadoop安装目录

3.创建New hadoop location
通过下面操作，单击other

弹出show view对话框，然后单击map/reduce location

看到小象，如下图

右键New hadoop location

4.配置New hadoop location

5.查看效果
配置完毕，查看效果

问题总结：
插件的制作过程还是比较复杂的，原先使用的是Hadoop2.5版本，编译成功了，不能创建New Hadoop location查看log下面问题

java.lang.NoClassDefFoundError: org/apache/hadoop/conf/Configuration
        at org.apache.hadoop.eclipse.server.HadoopServer.<init>(HadoopServer.java:224)
        at org.apache.hadoop.eclipse.servers.HadoopLocationWizard.<init>(HadoopLocationWizard.java:88)
        at org.apache.hadoop.eclipse.actions.NewLocationAction$1.<init>(NewLocationAction.java:41)
        at org.apache.hadoop.eclipse.actions.NewLocationAction.run(NewLocationAction.java:40)
        at org.eclipse.jface.action.Action.runWithEvent(Action.java:499)
        at org.eclipse.jface.action.ActionContributionItem.handleWidgetSelection(ActionContributionItem.java:584)
        at org.eclipse.jface.action.ActionContributionItem.access$2(ActionContributionItem.java:501)
        at org.eclipse.jface.action.ActionContributionItem$5.handleEvent(ActionContributionItem.java:411)
        at org.eclipse.swt.widgets.EventTable.sendEvent(EventTable.java:84)
        at org.eclipse.swt.widgets.Widget.sendEvent(Widget.java:1057)
        at org.eclipse.swt.widgets.Display.runDeferredEvents(Display.java:4170)
        at org.eclipse.swt.widgets.Display.readAndDispatch(Display.java:3759)
        at org.eclipse.e4.ui.internal.workbench.swt.PartRenderingEngine$9.run(PartRenderingEngine.java:1113)
        at org.eclipse.core.databinding.observable.Realm.runWithDefault(Realm.java:332)
        at org.eclipse.e4.ui.internal.workbench.swt.PartRenderingEngine.run(PartRenderingEngine.java:997)
        at org.eclipse.e4.ui.internal.workbench.E4Workbench.createAndRunUI(E4Workbench.java:138)
        at org.eclipse.ui.internal.Workbench$5.run(Workbench.java:610)
        at org.eclipse.core.databinding.observable.Realm.runWithDefault(Realm.java:332)
        at org.eclipse.ui.internal.Workbench.createAndRunWorkbench(Workbench.java:567)
        at org.eclipse.ui.PlatformUI.createAndRunWorkbench(PlatformUI.java:150)
        at org.eclipse.ui.internal.ide.application.IDEApplication.start(IDEApplication.java:124)
        at org.eclipse.equinox.internal.app.EclipseAppHandle.run(EclipseAppHandle.java:196)
        at org.eclipse.core.runtime.internal.adaptor.EclipseAppLauncher.runApplication(EclipseAppLauncher.java:110)
        at org.eclipse.core.runtime.internal.adaptor.EclipseAppLauncher.start(EclipseAppLauncher.java:79)
        at org.eclipse.core.runtime.adaptor.EclipseStarter.run(EclipseStarter.java:354)
        at org.eclipse.core.runtime.adaptor.EclipseStarter.run(EclipseStarter.java:181)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:606)
        at org.eclipse.equinox.launcher.Main.invokeFramework(Main.java:636)
        at org.eclipse.equinox.launcher.Main.basicRun(Main.java:591)
        at org.eclipse.equinox.launcher.Main.run(Main.java:1450)
复制代码

网上有很多这方面的资料，尝试，但是还是未能解决。

使用Hadoop2.5作为编译目录，遇到下面问题：


ivy-resolve-common:
[ivy:resolve]
[ivy:resolve] :: problems summary ::
[ivy:resolve] :::: WARNINGS
[ivy:resolve]           module not found: org.apache.hadoop#hadoop-mapreduce-cli
ent-jobclient;2.5.0
[ivy:resolve]   ==== maven2: tried
[ivy:resolve]     http://repo1.maven.org/maven2/org/apache/hadoop/hadoop-mapredu
ce-client-jobclient/2.5.0/hadoop-mapreduce-client-jobclient-2.5.0.pom
[ivy:resolve]     -- artifact org.apache.hadoop#hadoop-mapreduce-client-jobclien
t;2.5.0!hadoop-mapreduce-client-jobclient.jar:
[ivy:resolve]     http://repo1.maven.org/maven2/org/apache/hadoop/hadoop-mapredu
ce-client-jobclient/2.5.0/hadoop-mapreduce-client-jobclient-2.5.0.jar
[ivy:resolve]           module not found: org.apache.hadoop#hadoop-mapreduce-cli
ent-core;2.5.0
[ivy:resolve]   ==== maven2: tried
[ivy:resolve]     http://repo1.maven.org/maven2/org/apache/hadoop/hadoop-mapredu
ce-client-core/2.5.0/hadoop-mapreduce-client-core-2.5.0.pom
[ivy:resolve]     -- artifact org.apache.hadoop#hadoop-mapreduce-client-core;2.5
.0!hadoop-mapreduce-client-core.jar:
[ivy:resolve]     http://repo1.maven.org/maven2/org/apache/hadoop/hadoop-mapredu
ce-client-core/2.5.0/hadoop-mapreduce-client-core-2.5.0.jar
[ivy:resolve]           module not found: org.apache.hadoop#hadoop-mapreduce-cli
ent-common;2.5.0
[ivy:resolve]   ==== maven2: tried
[ivy:resolve]     http://repo1.maven.org/maven2/org/apache/hadoop/hadoop-mapredu
ce-client-common/2.5.0/hadoop-mapreduce-client-common-2.5.0.pom
[ivy:resolve]     -- artifact org.apache.hadoop#hadoop-mapreduce-client-common;2
.5.0!hadoop-mapreduce-client-common.jar:
[ivy:resolve]     http://repo1.maven.org/maven2/org/apache/hadoop/hadoop-mapredu
ce-client-common/2.5.0/hadoop-mapreduce-client-common-2.5.0.jar
[ivy:resolve]           module not found: org.apache.hadoop#hadoop-hdfs;2.5.0
[ivy:resolve]   ==== maven2: tried
[ivy:resolve]     http://repo1.maven.org/maven2/org/apache/hadoop/hadoop-hdfs/2.
5.0/hadoop-hdfs-2.5.0.pom
[ivy:resolve]     -- artifact org.apache.hadoop#hadoop-hdfs;2.5.0!hadoop-hdfs.ja
r:
[ivy:resolve]     http://repo1.maven.org/maven2/org/apache/hadoop/hadoop-hdfs/2.
5.0/hadoop-hdfs-2.5.0.jar
[ivy:resolve]           module not found: org.apache.hadoop#hadoop-common;2.5.0
[ivy:resolve]   ==== maven2: tried
[ivy:resolve]     http://repo1.maven.org/maven2/org/apache/hadoop/hadoop-common/
2.5.0/hadoop-common-2.5.0.pom
[ivy:resolve]     -- artifact org.apache.hadoop#hadoop-common;2.5.0!hadoop-commo
n.jar:
[ivy:resolve]     http://repo1.maven.org/maven2/org/apache/hadoop/hadoop-common/
2.5.0/hadoop-common-2.5.0.jar
[ivy:resolve]           ::::::::::::::::::::::::::::::::::::::::::::::
[ivy:resolve]           ::          UNRESOLVED DEPENDENCIES         ::
[ivy:resolve]           ::::::::::::::::::::::::::::::::::::::::::::::
[ivy:resolve]           :: org.apache.hadoop#hadoop-mapreduce-client-jobclient;2
.5.0: not found
[ivy:resolve]           :: org.apache.hadoop#hadoop-mapreduce-client-core;2.5.0:
not found
[ivy:resolve]           :: org.apache.hadoop#hadoop-mapreduce-client-common;2.5.
0: not found
[ivy:resolve]           :: org.apache.hadoop#hadoop-hdfs;2.5.0: not found
[ivy:resolve]           :: org.apache.hadoop#hadoop-common;2.5.0: not found
[ivy:resolve]           ::::::::::::::::::::::::::::::::::::::::::::::
[ivy:resolve]
[ivy:resolve]
[ivy:resolve] :: USE VERBOSE OR DEBUG MESSAGE LEVEL FOR MORE DETAILS

BUILD FAILED
复制代码

经过多次修改未果，由于Hadoop Eclipse插件源码使用的是Hadoop2.2所以，就尝试用是Hadoop2.2作为Hadoop home，竟然编译成功了。

Hadoop集群搭建总结及Hadoop2.5集群伪分布、完全分布搭建总结

问题导读
1.你认为Hadoop集群的搭建有什么共同点？
2.低版本升级高版本，你是如何操作的？

Hadoop集群搭建总结及Hadoop2.5集群伪分布、完全分布搭建总结

问题导读
1.你认为Hadoop集群的搭建有什么共同点？
2.低版本升级高版本，你是如何操作的？

Hadoop集群的搭建除了Hadoop1与Hadoop2的集群搭建有所区别之外，Hadoop2集群的搭建大部分都是相似的。

1.需要安装ssh，达到无密码互通
无密码互通，很多这里都遇到了问题，这里提供两篇帖子。
linux（ubuntu）无密码互通、相互登录高可靠文档

CentOS6.4之图解SSH无验证双向登陆配置

2.修改hostname
hostname有临时修改于永久修改，详细见
ubuntu修改hostname

3.安装JDK
参考
linux(ubuntu)安装Java jdk环境变量设置及小程序测试

4.配置环境变量、例如path、classpath、Java_home等
环境变量中有的是必须的、有的是为了操作方便、Hadoop path可以配置，这样使用命令更加的方便

5.配置网络：
包括联通外网、防火墙关闭
联通外网可以参考下面贴子
虚拟机三种网络模式该如何上网指导

6.Hadoop配置文件
1.配置文件一般配置如下三个文件：
core-site.xml、hdfs-site.xml、mapred-site.xml、
Hadoop2，还需要配置yarn-site.xml
2.对于分布式、伪分布区别的一个重要切简单的配置文件slaves
如果是完全分布则需要修改slaves
除了上面，我们还需要配置hadoop-env.sh、yarn-env.sh
还有根据配置文件、建立文件夹

集群完全分布于伪分布的区别
伪分布与完全分布环境都是差不多的，伪分布搭建完毕，我们需要将同样的Hadoop文件复制到其他节点即可。
除了最基本的环偶境例如，都需要配置jdk，其他大部分环境不需要配置。
然后我们修改slaves 伪分布就能变成完全分布。
当然根据自己的情况，还有些细节，需要自己去搭建集群慢慢体会

通过上面我们可以看出，如果我们在原有的环境的基础上搭建更高更高版本的Hadoop，
我们有两种选择
1.直接采用升级的方式
升级的方式，可以参考
hadoop_线上升级步骤

hadoop 1.0.3 升级到 2.4.0 or 2.4.1

2.替换配置文件、重新初始化目录（这个只适用于同版本）

例如你的环境是Hadoop2.2、2.4等，升级为Hadoop2.5，你该如何操作，这里以伪分布为基础。
（1）我们下载解压Hadoop2.5.0
（2）将原先的Hadoop重命名Hadoop-back
（3）将Hadoop2.5重名为Hadoop（也就是你之前Hadoop文件夹的名字）
（4）替换配置文件
（5）将Hadoop的临时目录及Hadoop datanode目录清除里面的内容即可。

 <property>
               <name>hadoop.tmp.dir</name>
               <value>file:/home/aboutyun/tmp</value>
               <description>Abase for other temporary   directories.</description>
       </property>
复制代码

 <property>
               <name>hadoop.tmp.dir</name>
               <value>file:/home/aboutyun/tmp</value>
               <description>Abase for other temporary   directories.</description>
       </property>
复制代码

（6）格式化namenode，这时候我们的最新的集群就可以使用了。

对于从未搭建过集群的朋友、可以参考hadoop2.2完全分布式最新高可靠安装文档，来搭建Hadoop2.5，配置文件，可以完全挪用。