分享

通过cloudera-manager来安装hadoop

xioaxu790 发表于 2014-8-6 22:23:19 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 1 11367
本帖最后由 xioaxu790 于 2014-8-6 22:25 编辑
问题导读
1、安装配置ssh,需要注意哪些?
2、如何安装cloudera-manager?
3、如何对cloudera-manager,进行测试?




1. ssh登陆要安装管理界面的机器,确定关闭防火墙和selinux,然后安装cloudera-manager-installer.bin

2. 修改host,并复制到所有节点
  1. vim /etc/hosts
  2.     ##内容————————————————
  3.     172.16.1.1x node1
  4.     172.16.1.2x node2
  5.     172.16.1.3x node3   
  6.     127.0.0.1 localhost # 这是必须指定为localhost,且必须为第一个127.0.0.1的域
复制代码

3. 打开管理界面 http://{{host}}:7180/

1)用来安装hadoop组件的帐号必须有ssh 且 root 权限

2)像我们的服务器都使用了key登陆,所以在安装时,必须为选用的帐号设置sudo权限且不需输入密码,以下操作是每一台节点机器必须进行

  a. 用root操作,修改文件可写权限:
  1. chmod +w /etc/sudoers
复制代码

  b. vim /etc/sudoers 添加如:   
  1. nic ALL=(ALL)   NOPASSWD: ALL
复制代码

  c. 去除可写权限
  1. chmod -w /etc/sudoers
复制代码

3)给你安装hadoop的账户赋予这些文件的读权限和执行权限
  1.     chmod +r /bin/mktemp
  2.     chmod +x /bin/mktemp
  3.     chmod +r /usr/bin/tee
  4.     chmod +x /usr/bin/tee
  5.     chmod +r /usr/bin/tr
  6.     chmod +x /usr/bin/tr
复制代码

4)随便进去一个目录wget下载各种hadoop组件安装包 (cloudera-manager所在机器如果不需要安装任何hadoop组件,则不需要下载和安装)
  1.     wget http://archive.cloudera.com/cm4/redhat/5/x86_64/cm/4.1.1/RPMS/x86_64/jdk-6u31-linux-amd64.rpm
  2.     wgethttp://archive.cloudera.com/cm4/redhat/5/x86_64/cm/4.1.2/RPMS/x86_64/cloudera-manager-agent-4.1.2-1.cm412.p0.428.x86_64.rpm
  3.     wgethttp://archive.cloudera.com/cm4/redhat/5/x86_64/cm/4.1.2/RPMS/x86_64/cloudera-manager-daemons-4.1.2-1.cm412.p0.428.x86_64.rpm
  4.     wget http://archive.cloudera.com/cdh4/redhat/5/x86_64/cdh/4/RPMS/noarch/bigtop-utils-0.4+359-1.cdh4.1.2.p0.34.el5.noarch.rpm
  5.     wget http://archive.cloudera.com/cdh4/redhat/5/x86_64/cdh/4/RPMS/x86_64/bigtop-jsvc-0.4+359-1.cdh4.1.2.p0.43.el5.x86_64.rpm
  6.     wget http://archive.cloudera.com/cdh4/redhat/5/x86_64/cdh/4/RPMS/noarch/bigtop-tomcat-0.4+359-1.cdh4.1.2.p0.38.el5.noarch.rpm
  7.     wget http://archive.cloudera.com/cdh4/redhat/5/x86_64/cdh/4/RPMS/noarch/flume-ng-1.2.0+122-1.cdh4.1.2.p0.7.el5.noarch.rpm
  8.     wget http://archive.cloudera.com/cdh4/redhat/5/x86_64/cdh/4/RPMS/noarch/oozie-3.2.0+126-1.cdh4.1.2.p0.10.el5.noarch.rpm -O oozie-3.2.0-cdh4.1.2.p0.10.el5.noarch.rpm
  9.     ### 注意这只是其中一部分,并且各个版本可能不一样,所需的文件可以从以上路径下找,或者用cloudera-manager来自动安装,把整个过程复制下来,慢慢找它自动下载的*.rpm包的路径 ###
  10.     ### 既然有自动下载和安装功能,为什么还手动下载呢? 因为cloudera-manager安装过程只要一发生失败(安装过程有权限问题、或者下载超时等问题.),一切行为都将回滚,包括下载和安装的文件,
  11.         即如果依赖cloudera-manager每次安装都必须重新下载、重新安装。再说,有的rpm包很大,咱们服务器不像国外服务器,咱国内服务器下载这下资源包过程很慢而且还有很大可能下载不了,也就是说很容易出现辛辛苦苦装半天,一下回到解放前。
  12.         要一劳永逸,在本地迅雷下好了,再scp上去平均速度也有90kb/s,比服务器下载要快(亲测,不同网络环境可能有不一样), 下载后再从一个节点scp到各个节点 ###
  13.     ### 要用到的安装包名有如下列表,请各自寻找下载 ###
  14.     ###
  15.         hadoop-2.0.0-cdh4.1.2.p0.27.el5.x86_64.rpm
  16.         hadoop-hdfs-2.0.0-cdh4.1.2.p0.27.el5.x86_64.rpm
  17.         hadoop-httpfs-2.0.0-cdh4.1.2.p0.27.el5.x86_64.rpm
  18.         hadoop-yarn-2.0.0.1.cdh4.1.2.p0.27.el5.x86_64.rpm
  19.         hadoop-mapreduce-2.0.0-cdh4.1.2.p0.27.el5.x86_64.rpm
  20.         hadoop-0.20-mapreduce-0.20.21.cdh4.1.2.p0.24.el5.x86_64.rpm
  21.         hadoop-libhdfs-2.0.0-cdh4.1.2.p0.27.el5.x86_64.rpm
  22.         hadoop-client-2.0.0-cdh4.1.2.p0.27.el5.x86_64.rpm
  23.         hadoop-hdfs-fuse-2.0.0-cdh4.1.2.p0.27.el5.x86_64.rpm
  24.         zookeeper-3.4.31.cdh4.1.2.p0.34.el5.noarch.rpm
  25.         hbase-0.92.1-cdh4.1.2.p0.24.el5.noarch.rpm
  26.         hive-0.9.0-cdh4.1.2.p0.21.el5.noarch.rpm
  27.         oozie-3.2.0-cdh4.1.2.p0.10.el5.noarch.rpm
  28.         oozie-client-3.2.0-cdh4.1.2.p0.10.el5.noarch.rpm
  29.         pig-0.10.01.cdh4.1.2.p0.24.el5.noarch.rpm
  30.         hue-common-2.1.0-cdh4.1.2.p0.9.el5.x86_64.rpm
  31.         hue-about-2.1.-cdh4.1.2.p0.9.el5.x86_64.rpm
  32.         hue-help-2.1.0-cdh4.1.2.p0.9.el5.x86_64.rpm
  33.         hue-filebrowser-2.1.0-cdh4.1.2.p0.9.el5.x86_64.rpm
  34.         hue-jobbrowser-2.1.0-cdh4.1.2.p0.9.el5.x86_64.rpm
  35.         hue-jobsub-2.1.0-cdh4.1.2.p0.9.el5.x86_64.rpm
  36.         hue-beeswax-2.1.0-cdh4.1.2.p0.9.el5.x86_64.rpm
  37.         hue-plugins-2.1.0-cdh4.1.2.p0.9.el5.x86_64.rpm
  38.         hue-proxy-2.1.0-cdh4.1.2.p0.9.el5.x86_64.rpm
  39.         hue-shell-2.1.0-cdh4.1.2.p0.9.el5.x86_64.rpm
  40.         hue-useradmin-2.1.0-cdh4.1.2.p0.9.el5.x86_64.rpm
  41.         sqoop-1.4.11.cdh4.1.2.p0.21.el5.noarch.rpm
  42.     ###
复制代码


5)执行安装
  1.     yum install cyrus-sasl-gssapi
复制代码

    rpm -ivh jdk-6u31-linux-amd64.rpm # 竟然还指定装这个,有点莫名奇妙,我给机器自己装了jdk1.7的还配了环境变量,但这个cloudera还是说没找到,还自己下载安装,不知道是不是我没配置好呢?
  1.     rpm -ivh cloudera-manager-agent-4.1.2-1.cm412.p0.428.x86_64.rpm
  2.     rpm -ivh cloudera-manager-daemons-4.1.2-1.cm412.p0.428.x86_64.rpm
  3.     rpm -ivh bigtop-utils-0.4+359-1.cdh4.1.2.p0.34.el5.noarch.rpm
  4.     rpm -ivh bigtop-jsvc-0.4-cdh4.1.2.p0.43.el5.x86_64.rpm
  5.     rpm -ivh bigtop-tomcat-0.4-cdh4.1.2.p0.38.el5.noarch.rpm
  6.     rpm -ivh flume-ng-1.2.0-cdh4.1.2.p0.7.el5.noarch.rpm
  7.     rpm -ivh hadoop-2.0.0-cdh4.1.2.p0.27.el5.x86_64.rpm
  8.     rpm -ivh hadoop-hdfs-2.0.0-cdh4.1.2.p0.27.el5.x86_64.rpm
  9.     rpm -ivh hadoop-httpfs-2.0.0-cdh4.1.2.p0.27.el5.x86_64.rpm
  10.     rpm -ivh hadoop-yarn-2.0.0.1.cdh4.1.2.p0.27.el5.x86_64.rpm
  11.     rpm -ivh hadoop-mapreduce-2.0.0-cdh4.1.2.p0.27.el5.x86_64.rpm
  12.     rpm -ivh hadoop-0.20-mapreduce-0.20.21.cdh4.1.2.p0.24.el5.x86_64.rpm
  13.     rpm -ivh hadoop-libhdfs-2.0.0-cdh4.1.2.p0.27.el5.x86_64.rpm
  14.     rpm -ivh hadoop-client-2.0.0-cdh4.1.2.p0.27.el5.x86_64.rpm
  15.     rpm -ivh hadoop-hdfs-fuse-2.0.0-cdh4.1.2.p0.27.el5.x86_64.rpm
  16.     rpm -ivh zookeeper-3.4.31.cdh4.1.2.p0.34.el5.noarch.rpm
  17.     rpm -ivh hbase-0.92.1-cdh4.1.2.p0.24.el5.noarch.rpm
  18.     rpm -ivh hive-0.9.0-cdh4.1.2.p0.21.el5.noarch.rpm
  19.     rpm -ivh oozie-3.2.0-cdh4.1.2.p0.10.el5.noarch.rpm
  20.     rpm -ivh oozie-client-3.2.0-cdh4.1.2.p0.10.el5.noarch.rpm
  21.     rpm -ivh pig-0.10.01.cdh4.1.2.p0.24.el5.noarch.rpm
  22.     rpm -ivh hue-common-2.1.0-cdh4.1.2.p0.9.el5.x86_64.rpm
  23.     rpm -ivh hue-about-2.1.-cdh4.1.2.p0.9.el5.x86_64.rpm
  24.     rpm -ivh hue-help-2.1.0-cdh4.1.2.p0.9.el5.x86_64.rpm
  25.     rpm -ivh hue-filebrowser-2.1.0-cdh4.1.2.p0.9.el5.x86_64.rpm
  26.     rpm -ivh hue-jobbrowser-2.1.0-cdh4.1.2.p0.9.el5.x86_64.rpm
  27.     rpm -ivh hue-jobsub-2.1.0-cdh4.1.2.p0.9.el5.x86_64.rpm
  28.     rpm -ivh hue-beeswax-2.1.0-cdh4.1.2.p0.9.el5.x86_64.rpm
  29.     rpm -ivh hue-oozie-2.1.0-cdh4.1.2.p0.9.el5.x86_64.rpm
  30.     rpm -ivh hue-plugins-2.1.0-cdh4.1.2.p0.9.el5.x86_64.rpm
  31.     rpm -ivh hue-proxy-2.1.0-cdh4.1.2.p0.9.el5.x86_64.rpm
  32.     rpm -ivh hue-shell-2.1.0-cdh4.1.2.p0.9.el5.x86_64.rpm
  33.     rpm -ivh hue-useradmin-2.1.0-cdh4.1.2.p0.9.el5.x86_64.rpm
  34.     rpm -ivh sqoop-1.4.11.cdh4.1.2.p0.21.el5.noarch.rpm
复制代码

6)安装过程有由于顺序问题引起某些包安装不全,请重复执行上述命令4-5次直到所有安装包提示已经安装为止

7)用cloudera-manager进行“安装”,这过程基本上就是完成配置文件和启动cloudera-scm-agent(这个重要,有可能会提示出错,出错原因稍后补充)而已,很快。

8)最后提示成功,则这台机器已经受cloudera-scm-agent管理,基本上安装配置完毕,剩下的就是根据cloudera-manager提示界面按需要完成hadoop组件、节点配置,如选择namenode,datanode等。

    这个过程很简单很方便,但当然如果配置完成并启动后再修改某些节点的内容如什么什么mapreduce、什么Tracker之类,可能会出现问题再也启动不了,具体内容出现过但没深入研究,

    有的问题还没法解决只能换了机器(除了hadoop安装过程依赖多,配置多,服务器本身环境也复杂。所以官方文档建议用干净的机器)。

4.安装过程问题补充
1)cloudera-scm-agent 无法启动:查看机器名,机器名不能包含下划线

2)安装过程、或配置有问题,需完全删除cloudera-scm-agent的,除了上述反安装rpm包的命令,还需手动删除部分文件
  1.   rm -rf /var/run/cloudera-scm-agent
  2.     rm -rf /var/log/cloudera-scm-agent
复制代码

3)如果cloudera-manager上管理的机器识别标识老是机器名(应该是host上配置的)或ip不对, 手动修改启动脚本参数
  1.     vim /usr/sbin/cmf-agent
  2.     大概内容、位置
  3.     agent/src/cmf/agent.py
  4.     —hostname vip1 —ip_address 172.16.22.1
复制代码

4)重启agent
  1.   /etc/init.d/cloudera-scm-agent restart
复制代码
5)卸载所有安装内容的命令:
  1.     rpm -e cloudera-manager-agent
  2.     rpm -e cloudera-manager-daemons
  3.     rpm -e sqoop
  4.     rpm -e pig
  5.     rpm -e oozie
  6.     rpm -e oozie-client
  7.     rpm -e flume-ng
  8.     rpm -e hadoop-hdfs-fuse
  9.     rpm -e hadoop-libhdfs
  10.     rpm -e hue
  11.     rpm -e hue-useradmin
  12.     rpm -e hue-about
  13.     rpm -e hue-oozie
  14.     rpm -e hue-beeswax
  15.     rpm -e hue-jobsub
  16.     rpm -e hue-jobbrowser
  17.     rpm -e hue-shell
  18.     rpm -e hue-proxy
  19.     rpm -e hue-plugins
  20.     rpm -e hue-filebrowser
  21.     rpm -e hue-help
  22.     rpm -e hue-common
  23.     rpm -e hive
  24.     rpm -e hadoop-client
  25.     rpm -e hadoop-0.20-mapreduce
  26.     rpm -e hadoop-mapreduce
  27.     rpm -e hadoop-yarn
  28.     rpm -e hadoop-httpfs
  29.     rpm -e hbase
  30.     rpm -e hadoop-hdfs
  31.     rpm -e bigtop-tomcat
  32.     rpm -e bigtop-jsvc
  33.     rpm -e hadoop
  34.     rpm -e zookeeper
  35.     rpm -e bigtop-utils
  36.     rm -f /etc/cloudera-scm-agent/config.ini.rpmsave
  37.     rm -rf /etc/hadoop
  38.     rm -rf /usr/lib/hadoop
  39.     rm -rf /etc/hadoop-httpfs/
  40.     rm -rf /usr/lib/hadoop-httpfs
  41.     rm -rf /etc/hive
  42.     rm -rf /usr/lib/hive
  43.     rm -rf /etc/hbase
  44.     rm -rf /usr/lib/hbase
  45.     rm -rf /usr/lib/hadoop-0.20-mapreduce/
  46.     rm -rf /usr/lib/hadoop-hdfs
  47.     rm -rf /usr/lib/hadoop-mapreduce
  48.     rm -rf /usr/lib/hadoop-yarn
  49.     rm -rf /usr/lib/zookeeper
  50.     rm -rf /etc/zookeeper
  51.     rm -rf /usr/lib/oozie
  52.     rm -rf /etc/oozie
  53.     rm -rf /usr/lib/bigtop-tomcat
  54.     rm -rf /usr/lib/flume-ng
  55.     rm -rf /etc/flume-ng
  56.     rm -rf /var/lib/hive
  57.     rm -rf /var/lib/oozie
  58.     rm -rf /var/lib/zookeeper
  59.     rm -rf /dfs # cloudera 默认是这个配置路径,根据实际吧,别乱删
  60.     rm -rf /data/dfs/ # cloudera 默认是这个配置路径,根据实际吧,别乱删
复制代码


6. 测试。
    1)用浏览器打开hdfs-site.xml中配置的dfs.namenode.http-address所对应的地址,则看看到该hadoop集群机器当前相应状况。

    2)登陆集群中的任意一台机器,直接执行”hadoop fs -ls / ” 来查看hadoop中的文件,或”hadoop fs -put xxx /tmp” 把文件放到hadoop中存放。(这里当然需要配置系统环境变量PATH的$HADOOP_HOME/bin)。

    3)非集群内机器访问并操作该hadoop集群文件,还是下载hadoop,配置什么的跟上面一样,不需要启动什么,然后直接hadoop fs 看看,或者hadoop fs -ls hdfs://xxxx:12345/。(前提,这台机器能直接访问集群的namenode、datanode)。






本文转自:http://my.oschina.net/sansom/blog/185378

已有(1)人评论

跳转到指定楼层
mr.andy 发表于 2014-8-7 10:53:26
还算挺详细的,
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条