分享

hadoop2.7集群完全分布式安装



由于hadoop2.x的集群安装都是通用的,因此可参考

hadoop(2.x)以hadoop2.2为例完全分布式最新高可靠安装文档

弄清楚为什么是通用的,参考如下内容:
###############################

hadoop集群配置有各种中文文档,这里不是术的讲解,而是道的说明,也就是不是具体交给你怎么做,而是交给你方法。这里也算是对hadoop集群的安装的一个总结。
#########################

hadoop集群安装准备

首先需要一些准备工作,
安装Java、ssh、下载hadoop。
########################
有哪些进程

准备工作完毕,我们就开始安装了,那么如何安装:自然是解压,然后各种配置。
安装之后,我们看到的进程
master会看到下面进程



slave会看到下面进程




上面进程是否是固定的,无论你是ubuntu还是centos,还是其它系统,都是这些进程。

##############################################################

配置文件

hadoop配置有两种类型重要配置文件:
一种只读默认配置文件
core-default.xml, hdfs-default.xml, yarn-default.xml and mapred-default.xml.

一种Site-specific 配置文件

etc/hadoop/core-site.xml, etc/hadoop/hdfs-site.xml, etc/hadoop/yarn-site.xml and etc/hadoop/mapred-site.xml.


额外,你可以控制hadoop脚本,在bin/目录下,通过 etc/hadoop/hadoop-env.sh 和 etc/hadoop/yarn-env.sh.设置特定的值

HDFS 守护进程是 NameNode, SecondaryNameNode, and DataNode. YARN 守护进程是 ResourceManager, NodeManager, 和 WebAppProxy.如果使用MapReduce,  可以启用Job History Server.如果集群比较大,通常是在单独的主机上运行。


#########################################################

我们知道了各种配置文件,守护进程,那么剩下的就是对他们具体的配置。
这个配置我们是可以定制的,所以只要是hadoop2.x文档对于其他版本的文档,如果不是当前版本的新特性。所有的完全分布是文档都是可以通用的。

也就是说当前最新版本hadoop2.7,如果安装过以前hadoop2.2或则其他版本,那么集群的安装都是通用的。

hadoop2.7安装参考
ubuntu:参考
hadoop2.2完全分布式最新高可靠安装文档

如果想了解更多,参考官网
hadoop2.7官网集群配置

已有(1)人评论

跳转到指定楼层
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条