about云开发-活到老 学到老

 找回密码
 立即注册

QQ登录

只需一步,快速开始

扫一扫,访问微社区

查看: 412282|回复: 29

Cloudera Manager (centos)安装详细介绍

[复制链接]

432

主题

389

听众

243

收听

版主

Rank: 7Rank: 7Rank: 7

积分
4962
发表于 2014-9-16 17:26:40 | 显示全部楼层 |阅读模式
本帖最后由 pig2 于 2014-9-19 15:09 编辑

这里已经有很多关于CDH的文章,此篇虽然不是把所有的问题都描述了。但是整体的过程还算描述的比较清楚。

问题导读:
1.安装需要做哪些准备?
2.如何安装CM?
3.如何通过CM安装CDH?
4.CM及CDH安装的过程都包含什么?



相信通过这篇文章大家都对Cloudera Manager及CDH安装有一个整体的认识

目 录
1           准备工作...........................................................................................................................................3
1.1       说明...............................................................................................................................................3
1.2       集群网络环境介绍..........................................................................................................................3
2           环境搭建...........................................................................................................................................5
2.1       设置IP...........................................................................................................................................5
2.2       设置hosts......................................................................................................................................5
2.3       关闭防火墙....................................................................................................................................6
2.4       关闭SElinux....................................................................................................................................8
2.5       设置机器名....................................................................................................................................8
3           ClouderaManager安装................................................................................................................... 11
3.1       下载Cloudera Manager安装文件................................................................................................... 11
3.2       下载Cloudera Manager所需的rpm包............................................................................................ 11
3.3       安装rpm文件............................................................................................................................... 11
3.4       安装CM....................................................................................................................................... 11
3.5       登录CM....................................................................................................................................... 12
4           ClouderaManager配置及本地源配置.............................................................................................. 13
4.1       配置config.ini文件........................................................................................................................ 13
4.2       配置本地源.................................................................................................................................. 14
5           Hadoop及其组件安装......................................................................................................................17
5.1       选择Cloudera版本........................................................................................................................ 17
5.2       选中受管理的主机........................................................................................................................ 17
5.3       选择安装方式(Cloudera推荐使用Parcel)................................................................................... 18
5.4       把Parcel分配到主机..................................................................................................................... 18
5.5       选择服务...................................................................................................................................... 19
5.6       测试数据库连接........................................................................................................................... 20
5.7       等待所有服务启动........................................................................................................................ 20

6           向集群增加节点............................................................................................................................... 22
6.1       添加主机...................................................................................................................................... 22
6.2       输入IP或主机名........................................................................................................................... 23
6.3       提供SSH登录凭据........................................................................................................................ 24
6.4       安装............................................................................................................................................. 24




使用Cloudera Manager安装Hadoop
运行环境软硬件环境l  主机操作系统:Windows 64 bit,双核4线程,主频2.2G,8G内存
l  虚拟软件:VMware®Workstation 9.0.0 build-812388
l  虚拟机操作系统:CentOs 64bit,单核,2G内存
l  JDK:1.7.0_45 64 bit
l  Hadoop:2.2.0



集群网络环境集群包含三个节点:1个namenode,1个datanode,节点之间局域网连接,可以相互ping通。节点IP地址和主机名分布如下:
l  192.168.188.141  hadoo1 (namenode))
l  192.168.188.139  hadoo2 (datanode01)
l  192.168.188.140  hadoo3 (datanode03)
所有节点均是CentOS系统,防火墙iptables均禁用

环境搭建
本集群分为三个节点,先安装节点hadoop1(192.168.188.141),完成2.1~2.6步骤后,在步骤2.7中复制虚拟机并命名为hadoop2(192.168.188.139)和hadoop3(192.168.188.140)。


设置IP1.    点击System-->Preferences-->Network Connections,如下图所示:

1.png


2.    删除原来的连接信息,新建一个“”连接,设置该连接为手工方式,设置如下信息:
      IP地址: 10.88.147.221
      子网掩码: 255.255.255.0
      网关:     10.88.147.1
      DNS:    10.*.*.* (使用DNS上网需要设置)

2.png

3.    在命令行中查看设置的IP地址信息,如果不能够正确可以在执行2.5重启机器后再次确认:

3.png



设置Host文件1.    编辑/etc/hosts文件,设置IP地址与机器名的映射,设置信息如下:
l     10.88.147.141 hadoop1.localdomain
l    10.88.147.139 hadoop2.localdomain
l    10.88.147.140 hadoop2.localdomain

4.png




2.    使用如下命令对网络设置进行重启
sudo /etc/init.d/network restart


3.    验证设置是否成功
5.png


关闭防火墙
在Hadoop安装过程中需要关闭防火墙和SElinux,否则会异常

1.    service iptables status 查看防火墙状态,如下所示表示iptables已经开启
6.png



2.    使用如下命令关闭iptables,执行该命令后重启机器生效
chkconfig iptables off


关闭SElinux1.    使用getenforce命令查看是否关闭

7.png



2.    修改/etc/selinux/config 文件
将SELINUX=enforcing改为SELINUX=disabled,执行该命令后重启机器生效

8.png


设置机器名以root用户登录,使用 vi/etc/sysconfig/network 打开配置文件,修改主机名称为hadoop1

9.png


复制虚拟机关闭机器,复制当前节点两份,分别命名为:hadoop2和hadoop3


SSH无密码验证配置(这一步可省略)
3.    在三个节点中使用ssh-keygen -t rsa生成私钥和公钥;

10.png



4.    在三个节点中分别把公钥命名为authorized_keys_hadoop1、authorized_keys_hadoop2、authorized_keys_hadoop3;

11.jpg



5.    把两个从节点的公钥使用scp authorized_keys_hadoop2 jan@hadoop1:/home/jan/.ssh 命令传送到hadoop1节点的/home/jan/.ssh文件夹中;

12.png
13.png




6.    把三个节点的公钥信息保存到authorized_key文件中

使用cat authorized_keys_hadoop1 >> authorized_keys命令

14.png



7.    把该文件分发到其他两个从节点上
使用scp authorized_keys jan@hadoop2:/home/jan/.ssh把密码文件分发出去

15.png

16.png



8.    测试ssh免密码登录是否生效

17.png



Cloudera Manager安装
下载Cloudera Manager安装文件
Cloudera Manager的可以从如下网址获得:
这里选择Cloudera Manager 最新版5.0.1

下载Cloudera Manager所需的rpm包
下载网址为:

安装rpm文件
l 将下载的rpm包放入文件夹rpm(文件夹名随意)
l cd  ./rpm(进入rpm目录)
l yum localinstall –-nogpgcheck  *.rpm(安装rpm包)

3.4 安装rpm文件l 进入cloudera-manager-installer.bin的下载目录
l chmod u+x cloudera-manager-installer.bin(给下载的bin文件权限)
l 执行 ./cloudera-manager-installer.bin(大约十分钟左右)

3.5登录CM浏览器输入localhost:7180初次登录 用户名:admin 密码:admin

18.png

Cloudera Manager文件配置及本地源配置
配置config.ini文件
修改主机名
修改前为:localhost   修改后为:localhost.localdomain

19.png




本地源配置
Parcel的可以从如下网址获得,下载.parcel文件和manifest.json文件:

因为这里用的是CentOS6.5,所以选择CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel
http://archive.cloudera.com/cdh5/parcels/5.0.1/CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel

注意:Parcel文件对应不同的系统版本


l  把以下载的.parcel文件和manifest.json文件拷贝到/opt/cloudera/parcel-repo/文件夹下
l  新建文件命名为:CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha
l  打开manifest.json文件查看CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel对应的编号,并拷贝到CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha文件中

以下是manifest.json中CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel对应的编号,这里是:ec68971d2969a5a31e720a2a79ce7a7c1d38e397
{
           "parcelName":"CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel",
           "components": [
                {
                   "pkg_version": "0.7.0+cdh5.0.1+0",
                   "pkg_release": "1.cdh5.0.1.p0.30",
                   "name": "bigtop-tomcat",
                   "version": "6.0.37-cdh5.0.1"
                },
                {
                   "pkg_version": "0.9.0+cdh5.0.1+23",
                    "pkg_release":"1.cdh5.0.1.p0.25",
                   "name": "crunch",
                   "version": "0.9.0-cdh5.0.1"
                },



              .........


                {
                   "pkg_version": "0.9.0+cdh5.0.1+8",
                   "pkg_release": "1.cdh5.0.1.p0.25",
                   "name": "whirr",
                   "version": "0.9.0-cdh5.0.1"
                },
                {
                   "pkg_version": "3.4.5+cdh5.0.1+30",
                    "pkg_release":"1.cdh5.0.1.p0.31",
                   "name": "zookeeper",
                   "version": "3.4.5-cdh5.0.1"
                }
            ],
           "replaces": "IMPALA, SOLR, SPARK",
            "hash":"ec68971d2969a5a31e720a2a79ce7a7c1d38e397"
        }

l  现在本地源已配好,总之parcel-repo文件中包含一下三个文件:
CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel
CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha
Manifest.json

l  重启系统


Hadoop及其组件安装选择Cloudera版本

20.png

选中受管理的主机
21.png



选择安装方式(Cloudera推荐使用Parcel)

22.png


把Parcel分配到主机
23.png



24.png




添加服务
25.png


测试数据库连接 26.png



等待所有服务开启等待所有服务开启,时间可能会有点长

27.png

28.png





向集群增加节点增加主机

29.png

输入IP或主机名
30.png


31.png

提供SSH登录凭据

32.png

安装
33.png






注:本资料所有省略界面,直接点击继续即可

欢迎加入about云群425860289432264021 ,云计算爱好者群,关注about云腾讯认证空间

0

主题

3

听众

0

收听

注册会员

Rank: 2

积分
67
发表于 2014-9-29 16:13:59 | 显示全部楼层
够详细,,,,,顶起

0

主题

3

听众

0

收听

新手上路

Rank: 1

积分
29
发表于 2015-10-21 09:08:26 | 显示全部楼层
楼主你好,我到一点问题。
安装到3.5步骤时、 执行./cloudera-manager-installer.bin
就会提示我jdk安装失败,log文件中的信息为:

Loaded plugins: product-id, refresh-packagekit, subscription-manager
This system is not registered to Red Hat Subscription Management. You can use subscription-manager to register.
http://archive.cloudera.com/cm4/ ... epodata/repomd.xml: [Errno 14] PYCURL ERROR 6 - "Couldn't resolve host 'archive.cloudera.com'"
Trying other mirror.
Error: Cannot retrieve repository metadata (repomd.xml) for repository: cloudera-manager. Please verify its path and try again

请问这个是我操作出现问题了么?

67

主题

7

听众

8

收听

高级会员

Rank: 4

积分
1483
发表于 2015-10-21 19:10:57 | 显示全部楼层
st__唐衣。㈨ 发表于 2015-10-21 09:08
楼主你好,我到一点问题。
安装到3.5步骤时、 执行./cloudera-manager-installer.bin
就会提示我jdk安装 ...

Couldn't resolve host 'archive.cloudera.com'"
这个不能解析,确保能上网
修改下dns
nameserver 8.8.8.8
欢迎加入about云群371358502、39327136,云计算爱好者群

0

主题

3

听众

0

收听

新手上路

Rank: 1

积分
29
发表于 2015-10-26 09:21:32 | 显示全部楼层
NEOGX 发表于 2015-10-21 19:10
Couldn't resolve host 'archive.cloudera.com'"
这个不能解析,确保能上网
修改下dns

安装这个还需要我的虚拟机能够上网么?

0

主题

2

听众

0

收听

注册会员

Rank: 2

积分
63
发表于 2015-10-30 15:09:47 | 显示全部楼层
数据你们有吗

4

主题

8

听众

9

收听

中级会员

Rank: 3Rank: 3

积分
377
发表于 2015-11-1 13:23:32 | 显示全部楼层
支持楼主!顶顶顶!!!!
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

站长推荐上一条 /4 下一条

QQ|小黑屋|about云开发-学问论坛|社区-大数据云技术学习分享平台 ( 京ICP备12023829号

GMT+8, 2018-7-19 12:13 , Processed in 1.211978 second(s), 38 queries , Gzip On.

Powered by Discuz! X3.2 Licensed

快速回复 返回顶部 返回列表