分享

ambari hadoop统一部署

问题导读:
1.安装ambari需要哪些基本工具?
2.安装ambari需要做哪些准备?
3.安装之后如何查看ambari-server状态?






1、基本工具
yum、scp、curl、wget、pdsh、ssh

2、环境准备

2.1、系统环境
Centos6.564bit
Ambari1.4.3.38

2.2、ambari server 与 ambari agent 服务器root ssh无密互访
Ambariserver服务器
Ssh-keygen生产私钥公钥 id_rsa id_rsa.pub
        Ambariagent服务器
将ambari server 服上root生成的id_rsa.pub上传到各个集群机器上。
catid_rsa.pub >> authorized_keys
Ambarserver
sshroot@ambariagent

2.3、所有集群机器时间同步
安装ntp服务

2.4、所有集群机器关闭selinux
setenforce 0

2.5、所有集群机器关闭防火墙
/etc/init.d/iptablesstop

2.6、所有集群机器centos关闭packagekit
vim/etc/yum/pluginconf.d/refresh-packagekit.conf
enabled=0

3、安装准备
注:本节只需要在ambariserver服务器上做

3.1、安装源
cp ambari.repo /etc/yum.repos.d
这个源可能会非常慢,如果慢可以部署本地源(以下为可选,一般ambari源所需资源少,不需要部署本地源),步奏如下:
1、下载打包好的ambari源百度云盘
2、在ambari-server机器上部署源,将上面下载的文件解压到如/var/www/html/目录下
3、修改ambari.repo文件如下,注意黄色部分即可
[ambari-1.x]
name=Ambari 1.x
baseurl=file:///var/www/html/ambari/
gpgcheck=0
gpgkey=http://public-repo-1.hortonworks.com/ambari/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
[HDP-UTILS-1.1.0.16]
name=Hortonworks Data Platform Utils Version - HDP-UTILS-1.1.0.16
baseurl=file:///var/www/html/ambari/
gpgcheck=0
gpgkey=http://public-repo-1.hortonworks.com/ambari/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
[Updates-ambari-1.x]
name=ambari-1.x - Updates
baseurl=file:///var/www/html/ambari/
gpgcheck=0
gpgkey=http://public-repo-1.hortonworks.com/ambari/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

3.2、Installthe epel repository
yuminstall epel-release
yumrepolist

3.3、安装ambariserver
yuminstall ambari-server

3.4、设置ambariserver
ambari-serversetup
一路按确定即可,ambari-server会用到数据库,自行选择默认使用PostgreSQL,如果你选择使用mysql还需要把jdbc驱动放到/usr/lib/ambari-server目录下,会自动下载jdk-6u31-linux-x64.bin到/var/lib/ambari-server/resources你可以可以自己下载

安装好之后 启动ambari-server
ambari-serverstart
如果启动失败主义看几个日志文件/var/log/ambari-server

查看ambari-server状态
ambari-serverstatus

注:如果不自己使用自己创建的源,一下步奏略过
ambari-server会自己搭建一个web服务器根目录为/usr/lib/ambari-server/web端口号为8080我们可以通过 http://ambari-server-hostname:8080/访问到,我们要利用起来这个web服务器(也可以使用自己已有服务器)部署我们的ambari 和 hdp源,步骤如下:

1、将3.1中/var/www/html/ambari/复制到/usr/lib/ambari-server/web
cp-r /var/www/html/ambari/ /usr/lib/ambari-server/web

2、同时修改ambari.repo
[ambari-1.x]
name=Ambari 1.x
baseurl=http://ambari-server-hostname:8080/ambari/
gpgcheck=0
gpgkey=http://public-repo-1.hortonworks.com/ambari/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
[HDP-UTILS-1.1.0.16]
name=Hortonworks Data Platform Utils Version - HDP-UTILS-1.1.0.16
baseurl=http://ambari-server-hostname:8080/ambari/
gpgcheck=0
gpgkey=http://public-repo-1.hortonworks.com/ambari/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
[Updates-ambari-1.x]
name=ambari-1.x - Updates
baseurl=http://ambari-server-hostname:8080/ambari/
gpgcheck=0
gpgkey=http://public-repo-1.hortonworks.com/ambari/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

3、创建HDP源
将HDP源(我自己打包好的源)百度云盘下载并解压到/usr/lib/ambari-server/web下可以看到一个hdp文件夹

4、修改repoinfo.xml文件
cd /var/lib/ambari-server/resources/stacks/HDP/2.0.6/repos     
修改如下部分,我使用的是centos6.5所以修改对应的。
  1. <os type="centos6">
  2.     <repo>
  3.       <baseurl>http://ambari-server-hostname:8080/hdp/</baseurl>
  4.       <repoid>HDP-2.0.6</repoid>
  5.       <reponame>HDP</reponame>
  6.     </repo>
  7.   </os>
  8. <os type="oraclelinux6">
  9.     <repo>
  10.       <baseurl>http://ambari-server-hostname:8080/hdp/</baseurl>
  11.       <repoid>HDP-2.0.6</repoid>
  12.       <reponame>HDP</reponame>
  13.     </repo>
  14.   </os>
  15.   <os type="redhat6">
  16.     <repo>
  17.       <baseurl>http://ambari-server-hostname:8080/hdp/</baseurl>
  18.       <repoid>HDP-2.0.6</repoid>
  19.       <reponame>HDP</reponame>
  20.     </repo>
  21.   </os>
复制代码


在安装过程中,ambari会在集群机器上创建一个HDP.repo的源文件,文件的内容就是我们这里修改的相关信息。

4、安装
浏览器访问http://ambari-server-hostname:8080/  
按照步奏一步步走在这一步时注意,选择自己对应得版本,我使用的是2.0.6前面章节中我也配置的是2.0.6版本,其他版本类似修改。
bush.png


在安装中可能会出现多次失败,如果retry很多次还这样就要清理各个机器上的相关类库,用户,目录,配置等信息。所以建议最好在一个新安装的纯净系统上使用。
5、重新安装
注:以下来自网络,我在安装中也是这样做的,有些内容可能与实际不同,主要就是删除相关包、用户、以及配置

        1、停止ambari
        所有集群机器
       ambari-agent stop
       Ambari-server机器
       ambari-server stop

       2、删除安装包
#用yum list installed | grep HDP来检查安装的hadoop相关的包
yum remove -y sqoop.noarch  
yum remove -y lzo-devel.x86_64  
yum remove -y hadoop-libhdfs.x86_64  
yum remove -y rrdtool.x86_64  
yum remove -y hbase.noarch  
yum remove -y pig.noarch  
yum remove -y lzo.x86_64  
yum remove -y ambari-log4j.noarch  
yum remove -y oozie.noarch  
yum remove -y oozie-client.noarch  
yum remove -y gweb.noarch  
yum remove -y snappy-devel.x86_64  
yum remove -y hcatalog.noarch  
yum remove -y python-rrdtool.x86_64  
yum remove -y nagios.x86_64  
yum remove -y webhcat-tar-pig.noarch
yum remove -y snappy.x86_64  
yum remove -y libconfuse.x86_64   
yum remove -y webhcat-tar-hive.noarch
yum remove -y ganglia-gmetad.x86_64  
yum remove -y extjs.noarch  
yum remove -y hive.noarch  
yum remove -y hadoop-lzo.x86_64  
yum remove -y hadoop-lzo-native.x86_64  
yum remove -y hadoop-native.x86_64  
yum remove -y hadoop-pipes.x86_64  
yum remove -y nagios-plugins.x86_64  
yum remove -y hadoop.x86_64  
yum remove -y zookeeper.noarch      
yum remove -y hadoop-sbin.x86_64  
yum remove -y ganglia-gmond.x86_64  
yum remove -y libganglia.x86_64  
yum remove -y perl-rrdtool.x86_64
yum remove -y epel-release.noarch
yum remove -y compat-readline5*
yum remove -y fping.x86_64
yum remove -y perl-Crypt-DES.x86_64
yum remove -y exim.x86_64
yum remove -y ganglia-web.noarch
yum remove -y perl-Digest-HMAC.noarch
yum remove -y perl-Digest-SHA1.x86_64


3.删除用户

userdel nagios
userdel hive
userdel ambari-qa
userdel hbase
userdel oozie
userdel hcat
userdel mapred
userdel hdfs
userdel rrdcached
userdel zookeeper
userdel sqoop
userdel puppet

4.删除快捷方式
cd /etc/alternatives
rm -rf hadoop-etc
rm -rf zookeeper-conf
rm -rf hbase-conf
rm -rf hadoop-log
rm -rf hadoop-lib
rm -rf hadoop-default
rm -rf oozie-conf
rm -rf hcatalog-conf
rm -rf hive-conf
rm -rf hadoop-man
rm -rf sqoop-conf
rm -rf hadoop-conf

5.删除文件夹
rm -rf /var/lib/pgsql
rm -rf /hadoop
rm -rf /etc/hadoop
rm -rf /etc/hbase
rm -rf /etc/hcatalog
rm -rf /etc/hive
rm -rf /etc/ganglia
rm -rf /etc/nagios
rm -rf /etc/oozie
rm -rf /etc/sqoop
rm -rf /etc/zookeeper
rm -rf /var/run/hadoop
rm -rf /var/run/hbase
rm -rf /var/run/hive
rm -rf /var/run/ganglia
rm -rf /var/run/nagios
rm -rf /var/run/oozie
rm -rf /var/run/zookeeper
rm -rf /var/log/hadoop
rm -rf /var/log/hbase
rm -rf /var/log/hive
rm -rf /var/log/nagios
rm -rf /var/log/oozie
rm -rf /var/log/zookeeper
rm -rf /usr/lib/hadoop
rm -rf /usr/lib/hbase
rm -rf /usr/lib/hcatalog
rm -rf /usr/lib/hive
rm -rf /usr/lib/oozie
rm -rf /usr/lib/sqoop
rm -rf /usr/lib/zookeeper
rm -rf /var/lib/hive
rm -rf /var/lib/ganglia
rm -rf /var/lib/oozie
rm -rf /var/lib/zookeeper
rm -rf /var/tmp/oozie
rm -rf /tmp/hive
rm -rf /tmp/nagios
rm -rf /tmp/ambari-qa
rm -rf /tmp/sqoop-ambari-qa
rm -rf /var/nagios
rm -rf /hadoop/oozie
rm -rf /hadoop/zookeeper
rm -rf /hadoop/mapred
rm -rf /hadoop/hdfs
rm -rf /tmp/hadoop-hive
rm -rf /tmp/hadoop-nagios
rm -rf /tmp/hadoop-hcat
rm -rf /tmp/hadoop-ambari-qa
rm -rf /tmp/hsperfdata_hbase
rm -rf /tmp/hsperfdata_hive
rm -rf /tmp/hsperfdata_nagios
rm -rf /tmp/hsperfdata_oozie
rm -rf /tmp/hsperfdata_zookeeper
rm -rf /tmp/hsperfdata_mapred
rm -rf /tmp/hsperfdata_hdfs
rm -rf /tmp/hsperfdata_hcat
rm -rf /tmp/hsperfdata_ambari-qa
6.删除ambari包
#采用这句命令来检查yum list installed | grep ambari
yum remove -y ambari-*
yum remove -y postgresql
rm -rf /var/lib/ambari*
rm -rf /var/log/ambari*
rm -rf /etc/ambari*

7.删除HDP.repo和amabari.repo
cd /etc/yum.repos.d/
rm -rf HDP*
rm -rf ambari*

已有(6)人评论

跳转到指定楼层
x5136160 发表于 2014-7-11 08:03:36
了解了解,看看。。。。。
回复

使用道具 举报

sonicdxf 发表于 2015-5-15 11:00:49
回复

使用道具 举报

about_yan 发表于 2015-8-14 15:26:26
楼主用 ambari 安装的hdfs 是HA的吗?
回复

使用道具 举报

zjj123457 发表于 2015-10-30 16:44:02
楼主你好,请问下我用ambari搭建好集群的时候只装了HDFS和MapRedcue服务,现在怎么添加其他服务
回复

使用道具 举报

mrcui 发表于 2016-7-13 11:21:18
想用ambari监控已经搭建好的hadoop平台,有何建议呢,谢谢
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条