各个版本Linux单节点伪分布一键安装CDH5.1.X及提交wordcount到yarn高可靠文档

问题导读：
1.安装cdh5伪分布配置文件在什么位置？
2.不同的操作系统，cdh5的安装过程都包含哪些流程？
3.在yarn上运行wordcount都需要哪些准备？
4.CDH5是如何安装的？

由于这里面包含多个系统，可能安装步骤上，初学者难以看懂，可以先参考Linux（ubuntu12.04）单节点伪分布安装CDH5.1.X及提交wordcount到yarn高可靠文档，然后再看这个文档就清晰多了

简介：
如果安装过Cloudera Manager5，我们可能会知道，这个安装还是比较曲折的，因为一旦网络中断，那么我们的安装失败率还是比较高的。如果我们只想了解CDH，我们安装CDH5.CDH5该如何安装，而它的安装确实比hadoop要简单些，我们这里介绍单节点伪分布安装及如何在yarn上运行wordcount。

我们这里介绍了各个版本Linux系统，如何下载，如何安装，这里重点ubuntu12.04上的安装。

Red Hat/CentOS/Oracle 5 or Red Hat 6 系统

操作系统版本	下载链接
Red Hat/CentOS/Oracle 5	Red Hat/CentOS/Oracle 5 link
Red Hat/CentOS/Oracle 6	Red Hat/CentOS/Oracle 6 link

附件下载：
Red Hat/CentOS/Oracle 5

cloudera-cdh-5-0.x86_64.rar (7.5 KB, 下载次数: 17)

2014-10-5 22:14 上传

点击文件名下载附件

Red Hat/CentOS/Oracle 6

cloudera-cdh-5-0.x86_64.rar (7.57 KB, 下载次数: 68)

2014-10-5 22:16 上传

点击文件名下载附件

安装 RPM

Red Hat/CentOS/Oracle 5:

sudo yum --nogpgcheck localinstall cloudera-cdh-5-0.x86_64.rpm 
复制代码

Red Hat/CentOS/Oracle 6 (64-bit):

sudo yum --nogpgcheck localinstall cloudera-cdh-5-0.x86_64.rpm
复制代码

安装 CDH 5

添加repository key

Red Hat/CentOS/Oracle 5 系统:

sudo rpm --import http://archive.cloudera.com/cdh5/redhat/5/x86_64/cdh/RPM-GPG-KEY-cloudera
复制代码

Red Hat/CentOS/Oracle 6 系统:

sudo rpm --import http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/RPM-GPG-KEY-cloudera
复制代码

安装yarn

sudo yum install hadoop-conf-pseudo
复制代码

SLES 系统

下载
点此下载

附件下载：
下载：

cloudera-cdh-5-0.x86_64.rar (5.89 KB, 下载次数: 7)

2014-10-5 22:25 上传

点击文件名下载附件

安装rpm

sudo rpm -i cloudera-cdh-5-0.x86_64.rpm
复制代码

安装CDH 5

添加repository key

sudo rpm --import http://archive.cloudera.com/cdh5/sles/11/x86_64/cdh/RPM-GPG-KEY-cloudera
复制代码

安装YARN

sudo zypper install hadoop-conf-pseudo 
复制代码

Ubuntu and 其它 Debian 系统

1.下载

系统版本	下载链接
Wheezy	Wheezy link
Precise	Precise link

附件下载：
Precise

cdh5-repository_1.0_all.rar (3.3 KB, 下载次数: 13)

2014-10-5 22:44 上传

点击文件名下载附件

Wheezy

cdh5-repository_1.0_all.rar (3.28 KB, 下载次数: 5)

2014-10-5 22:44 上传

点击文件名下载附件

2.复制到Linux操作系统

下载之后，我们使用wincp复制到Linux中

不会使用WinSCP，可以参考：
新手指导：使用 WinSCP（下载）上文件到 Linux图文教程

3.安装package

sudo dpkg -i cdh5-repository_1.0_all.deb
复制代码

4.安装 CDH 5

curl -s http://archive.cloudera.com/cdh5/ubuntu/precise/amd64/cdh/archive.key | sudo apt-key add -
复制代码

5.安装Yarn

sudo apt-get update 
复制代码

sudo apt-get install hadoop-conf-pseudo
复制代码

(上面为各个系统的安装，下面为启动，命令适用于每个操作系统，显示有所区别)

6.启动hadoop，验证是否正常工作

Red Hat、SLES 系统:

rpm -ql hadoop-conf-pseudo
复制代码

Ubuntu 系统:

dpkg -L hadoop-conf-pseudo
复制代码

注意的是配置文件目录为： /etc/hadoop/conf.pseudo

配置文件.png

hadoop相关组件配置在

 /etc/hadoop/conf.
复制代码

第一步：格式化namenode:

sudo -u hdfs hdfs namenode -format
复制代码

注意
所有的命令都是sudo -u hdfs 下面，如果执行这个命令需要输入密码，则说明安装有问题
在安装过程中会自动格式化hdfs,但是这里必须执行这一步

第二步：启动hdfs

 for x in `cd /etc/init.d ; ls hadoop-hdfs-*` ; do sudo service $x start ; done
复制代码

第三步：创建 /tmp, Staging and Log 目录

1.如果存在旧的 /tmp则移除

sudo -u hdfs hadoop fs -rm -r /tmp
复制代码

2.创建新目录并设置权限:

 sudo -u hdfs hadoop fs -mkdir -p /tmp/hadoop-yarn/staging/history/done_intermediate
 sudo -u hdfs hadoop fs -chown -R mapred:mapred /tmp/hadoop-yarn/staging 
 sudo -u hdfs hadoop fs -chmod -R 1777 /tmp 
 sudo -u hdfs hadoop fs -mkdir -p /var/log/hadoop-yarn
 sudo -u hdfs hadoop fs -chown yarn:mapred /var/log/hadoop-yarn
复制代码

第四步：检查核实创建文件

drwxrwxrwt - hdfs supergroup 0 2012-05-31 15:31 /tmp
drwxr-xr-x - hdfs supergroup 0 2012-05-31 15:31 /tmp/hadoop-yarn
drwxrwxrwt - mapred mapred 0 2012-05-31 15:31 /tmp/hadoop-yarn/staging
drwxr-xr-x - mapred mapred 0 2012-05-31 15:31 /tmp/hadoop-yarn/staging/history
drwxrwxrwt - mapred mapred 0 2012-05-31 15:31 /tmp/hadoop-yarn/staging/history/done_intermediate
drwxr-xr-x - hdfs supergroup 0 2012-05-31 15:31 /var
drwxr-xr-x - hdfs supergroup 0 2012-05-31 15:31 /var/log
drwxr-xr-x - yarn mapred 0 2012-05-31 15:31 /var/log/hadoop-yarn
复制代码

第五步：启动 YARN

sudo service hadoop-yarn-resourcemanager start 
sudo service hadoop-yarn-nodemanager start 
sudo service hadoop-mapreduce-historyserver start
复制代码

第六步：创建用户目录

sudo -u hdfs hadoop fs -mkdir /user/aboutyun
sudo -u hdfs hadoop fs -chown aboutyun/user/aboutyun
复制代码

我这里用的用户为aboutyun

在yarn上运行wordcount

这里的运行用户为aboutyun
1.创建运行job用户目录

sudo -u hdfs hadoop fs -mkdir /user/aboutyun
复制代码

 sudo -u hdfs hadoop fs -chown aboutyun /user/aboutyun
复制代码

2.切换aboutyun用户

记得这一步很重要，否则会创建目录错误

3.创建hdfs输入目录，并上传数据

hadoop fs -mkdir input
复制代码

hadoop fs -put /etc/hadoop/conf/*.xml input
复制代码

hadoop fs -ls input
Found 3 items:
-rw-r--r-- 1 joe supergroup 1348 2012-02-13 12:21 input/core-site.xml
-rw-r--r-- 1 joe supergroup 1913 2012-02-13 12:21 input/hdfs-site.xml
-rw-r--r-- 1 joe supergroup 1001 2012-02-13 12:21 input/mapred-site.xml
复制代码

4.设置HADOOP_MAPRED_HOME （在aboutyun用户下）

export HADOOP_MAPRED_HOME=/usr/lib/hadoop-mapreduce
复制代码

5.运行wordcount程序

hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar grep input output23 'dfs[a-z.]+'
复制代码

6.查看输出目录output23

hadoop fs -ls
复制代码

7.列出输出文件

hadoop fs -ls output23 
Found 2 items
-rw-r--r--   1 aboutyun aboutyun          0 2014-10-05 05:45 output23/_SUCCESS
-rw-r--r--   1 aboutyun aboutyun        244 2014-10-05 05:45 output23/part-r-00000
复制代码

8.输出结果

$ hadoop fs -cat output23/part-r-00000 | head
1 dfs.safemode.min.datanodes
1 dfs.safemode.extension
1 dfs.replication
1 dfs.permissions.enabled
1 dfs.namenode.name.dir
1 dfs.namenode.checkpoint.dir
1 dfs.datanode.data.dir
复制代码