CDH5.8.0安装入门

本帖最后由 Tank_2000 于 2016-12-22 21:33 编辑
第一部分：Hadoop集群环境配置
1.关闭防火墙

打开文件selinux：vi /etc/sysconfig/selinux

修改SELINUX属性值修改如下：

SELINUX=disabled

chkconfig iptables off

reboot

查看防火墙状态

[root@master ~]# chkconfig iptables --list

iptables 0:off 1:off 2:off 3:off 4:off 5:off 6:off

2.网卡设置

vi etc/sysconfig/network-scripts/ifcfg-eth0

修改如下内容（带注释的为变动内容）：

DEVICE="eth0"

BOOTPROTO="static" #将IP设置为静态方式

HWADDR="00:0C:29:A5:C3:44"

IPV6INIT="yes"

NM_CONTROLLED="yes"

ONBOOT="yes"

TYPE="Ethernet"

UUID="873daada-a6f5-4ff1-8510-c3eb722afd41"

IPADDR="192.168.1.120" #IP地址

NETMASK="255.255.255.0" #子网掩码

GATEWAY="192.168.1.1" #网关

DNS1=202.106.195.68 #DNS地址1

DNS2=202.106.46.151 #DNS地址2

reboot 重启机器

3.设置主机名

修改主机名主节点取名master

通过命令打开network文件：vi /etc/sysconfig/network

将文件内容改成如下：

NETWORKING=yes

HOSTNAME=master

4.修改hosts文件

vi /etc/hosts

修改成如下内容：

127.0.0.1 localhost

192.168.1.120 master

192.168.1.121 slave1

注：在Centos Linux系统中，网络的配置可以通过修改几个配置文件来实现

/ect/hosts配置主机名和IP地址的对应

/etc/sysconfig/network配置主机名和网关

/etc/sysconfig/network-scripts/ifcfg-eth0 配置文件配置网卡信息，第一张网卡ifcfg-eth0，eth1则文件名为ifcfg-eth1，以此类推。

网关配置也可以在ifcfg-eth0里面进行，所以网关配置就放在eth0里面，在network中就不用进行设置了。

5.JDK安装
版本要求：
http://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#pcm_jdk

安装jdk rpm包

rpm -ivh jdk-7u80-linux-x64.rpm

设置java环境变量

vi /etc/profile

文件末尾加入如下内容:

export JAVA_HOME=/usr/java/jdk1.7.0_80

export PATH=$JAVA_HOME/bin:$PATH

exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

6.安装配置ntp服务
6.1安装ntp服务

yum install ntp

6.2 配置ntp

vi /etc/ntp.conf

# Use public servers from the pool.ntp.orgproject.

# Please consider joining the pool(http://www.pool.ntp.org/join.html).

server master prefer

server 0.centos.pool.ntp.org iburst

server 1.centos.pool.ntp.org iburst

server 2.centos.pool.ntp.org iburst

server 3.centos.pool.ntp.org iburst

6.3启动ntp服务

service ntpd start

7.克隆节点

关闭主节点，然后克隆slave1

右击主节点标签-->管理-->克隆-->克隆虚拟机向导

克隆完成后，设置slave1 IP为192.168.1.121， hostname 为slave1

重启电脑

重启完成后，修改slave1的网卡eth1信息：

获取eth1的MAC地址

ifconfig eth1

获取eth1的UUID

nmcli con

修改以下文件内容：

vi/etc/udev/rules.d/70-persistent-net.rules

将里面的eth 0相应的行注释，同时将eth1行中eth1改成eth0

修改网卡

vi /etc/sysconfig/network-scripts/ifcfg-eth0

HWADDR= eth1 的MAC

UUID=eth1的UUID

重启

8.设置集群节点间免密钥登陆

在master节点home目录下

cd .ssh

执行命令：ssh-keygen -t rsa

然后一直回车

然后将生成的公钥id_rsa.pub 内容拷贝到authorized_keys文件中

cat id_rsa.pub >>~/.ssh/authorized_keys

给秘钥文件授权

chmod 600 authorized_keys

将秘钥文件复制到slave1中

scp authorized_keys root@slave1:~/.ssh

到这里就可以从master免密钥登陆到slave1节点上了

9.外部数据库安装与配置
9.1 mysql 安装

官方方文档

http://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_mysql.html#cmig_topic_5_5_2

[root@master ~]# yum install mysql-server

安装完毕后

设置开机启动

chkconfig mysqld on

启动mysql数据库

service mysqld start

登录mysql 并创建hive数据库

mysql -uroot

密码默认是空，直接回车

下载mysql驱动包

http://www.mysql.com/downloads/connector/j/5.1.html

将驱动包复制到指导路径，并重新命名为：mysql-connector-java.jar

mkdir -p /usr/share/java/

cpmysql-connector-java-5.1.40-bin.jar /usr/share/java/mysql-connector-java.jar

9.2 创建外部数据库

--- --hive数据库

mysql> create database hive DEFAULTCHARSET latin1;

Query OK, 1 row affected (0.00 sec)

--集群监控数据库

mysql> create database amon DEFAULTCHARSET utf8;

Query OK, 1 row affected (0.00 sec)

--hue数据库

mysql> create database hue DEFAULTCHARSET utf8;

Query OK, 1 row affected (0.00 sec)

--oozie数据库

mysql> create database oozie defaultcharset utf8;

Query OK, 1 row affected (0.04 sec)

mysql> grant all privileges on hive.* to'scm'@'%' identified by '123456' with grant option;