新技术：Oozie-3.3.2安装配置运行实践

问题导读：
1、部署Oozie，需要哪些组件 ？

Oozie是一个开源的工作流调度系统，它能够管理逻辑复杂的多个Hadoop作业，按照指定的顺序将其协同运行起来。例如，我们可能有这样一个需求，某个业务系统每天产生20G原始数据，我们每天都要对其进行处理，处理步骤如下所示：

• 通过Hadoop先将原始数据同步到HDFS上；
• 借助MapReduce计算框架对原始数据进行转换，生成的数据以分区表的形式存储到多张Hive表中；
• 需要对Hive中多个表的数据进行JOIN处理，得到一个明细数据Hive大表；
• 将明细数据进行复杂的统计分析，得到排序后的报表信息；
• 需要将统计分析得到的结果数据同步到业务系统中，供业务调用使用。
  

上述过程可以通过工作流系统来编排任务，最终生成一个工作流实例，然后每天定时启动运行这个实例即可。在这种依赖于Hadoop存储和处理能力要求的应用场景下，Oozie可能能够简化任务调度和执行。
这里，我们在CentOS 6.2系统下安装Oozie-3.3.2，需要安装相关的依赖软件包，下面我们一步一步地进行安装，包括安装配置依赖软件包。这里，我们使用MySQL数据库存储Oozie数据，Hadoop使用的是1.2.1版本。

安装Oozie Server

Oozie Server可以为我们提供很多管理Job的便捷功能，比如，通过可视化界面去管理Job的运行状态，同时也支持我构建含有多个复杂Hadoop Job流程，各个Job之间的依赖关系完全可以通过一个工作流配置文件组装起来，然后由Oozie Server其管理执行。

安装Maven构建工具

下载安装，执行如下命令：

<font color="rgb(64, 64, 64)"><font face="Ubuntu">wget http://mirrors.hust.edu.cn/apache/maven/maven-3/3.2.1/binaries/apache-maven-3.2.1-bin.tar.gz
tar xvzf apache-maven-3.2.1-bin.tar.gz
</font></font>
复制代码

加入环境变量，使变量配置生效：

<font color="rgb(64, 64, 64)"><font face="Ubuntu">export MAVEN_HOME=/home/shirdrn/cloud/programs/apache-maven-3.2.1
export PATH=$PATH:$MAVEN_HOME/bin
</font></font>
复制代码

安装MySQL数据库

安装MySQL数据库，执行如下命令：

sudo rpm -e --nodeps mysql
yum list | grep mysql
sudo yum install -y mysql-server mysql mysql-deve
复制代码

为root用户设置密码：

mysqladmin -u root password '8YOhyo988_Kjo0'
复制代码

然后可以使用root账号登录MySQL数据库，进行管理：

mysql -u root -p
复制代码

输入密码登录成功。

安装配置Tomcat

下载安装Tomcat Web服务器：

wget http://apache.dataguru.cn/tomcat/tomcat-7/v7.0.52/bin/apache-tomcat-7.0.52.tar.gz
tar xvzf apache-tomcat-7.0.52.tar.gz
复制代码

设置环境变量：

export CATALINA_HOME=/home/shirdrn/cloud/programs/apache-tomcat-7.0.52
export PATH=$PATH:$CATALINA_HOME/bin
复制代码

如果使用MySQL存储Oozie数据，需要将MySQL的驱动程序拷贝到Tomcat安装目录下，亦即$CATALINA_HOME/lib下面。

准备ExtJS工具包

下载ExtJS压缩包：

wget http://extjs.com/deploy/ext-2.2.zip
复制代码

安装Oozie

下载安装，执行如下命令：

<font color="rgb(64, 64, 64)"><font face="Ubuntu">wget http://mirror.bit.edu.cn/apache/oozie/3.3.2/oozie-3.3.2.tar.gz
tar xvzf oozie-3.3.2.tar.gz
cd oozie-3.3.2
bin/mkdistro.sh -DskipTests
</font></font>
复制代码

构建成后，可以在oozie-3.3.2/distro/target目录下看到构建后的文件，例如我的路径是/home/shirdrn/cloud/programs/oozie-3.3.2/distro/target/oozie-3.3.2-distro/oozie-3.3.2，内容如下所示：

<font color="rgb(64, 64, 64)"><font face="Ubuntu">[shirdrn@oozie-server oozie-3.3.2]$ pwd
/home/shirdrn/cloud/programs/oozie-3.3.2/distro/target/oozie-3.3.2-distro/oozie-3.3.2
[shirdrn@oozie-server oozie-3.3.2]$ ls
bin       lib                        oozie-core             oozie-sharelib-3.3.2.tar.gz
conf      libtools                   oozie-examples.tar.gz  oozie.war
docs.zip  oozie-client-3.3.2.tar.gz  oozie-server           release-log.txt
</font></font>
复制代码

将OOZIE_HOME变量指向该目录，修改~/bashrc文件：

<font color="rgb(64, 64, 64)"><font face="Ubuntu">export OOZIE_HOME=/home/shirdrn/cloud/programs/oozie-3.3.2/distro/target/oozie-3.3.2-distro/oozie-3.3.2
export PATH=$PATH:$OOZIE_HOME/bin
</font></font>
复制代码

将ExtJS工具包拷贝到目录$OOZIE_HOME中:

<font color="rgb(64, 64, 64)"><font face="Ubuntu">cp ~/cloud/programs/oozie-3.3.2/ext-2.2.zip $OOZIE_HOME/
</font></font>
复制代码

在上面的目录下创建libext目录，并将hadoop相关的jar库文件拷贝到libext下面，我使用的是Hadoop 1.2.1版本：

<font color="rgb(64, 64, 64)"><font face="Ubuntu">[shirdrn@oozie-server oozie-3.3.2]$ mkdir libext
[shirdrn@oozie-server oozie-3.3.2]$ cp ~/cloud/programs/hadoop-1.2.1/hadoop-*.jar libext/
[shirdrn@oozie-server oozie-3.3.2]$ cp ~/cloud/programs/hadoop-1.2.1/lib/*.jar ./libext/
</font></font>
复制代码

同时，我们使用了MySQL来存储Oozie的元数据，现在需要将MySQL的驱动程序添加到libext目录下：

<font color="rgb(64, 64, 64)"><font face="Ubuntu">cp ~/packages/mysql-connector-java-5.1.29/mysql-connector-java-5.1.29/mysql-connector-java-5.1.29-bin.jar libext/</font></font>
复制代码

执行下面的命令开始安装：

<font color="rgb(64, 64, 64)"><font face="Ubuntu">bin/oozie-setup.sh prepare-war
</font></font>
复制代码

这样，上述已经生成了/home/shirdrn/cloud/programs/oozie-3.3.2/distro/target/oozie-3.3.2-distro/oozie-3.3.2/oozie-server/webapps/oozie.war文件。

配置Oozie

修改conf/oozie-site.xml配置文件，内容如下所示：

<font color="rgb(64, 64, 64)"><font face="Ubuntu"><property>
    <name>oozie.service.JPAService.jdbc.driver</name>
    <value>com.mysql.jdbc.Driver</value>
    <description>
        JDBC driver class.
    </description>
</property>
<property>
    <name>oozie.service.JPAService.jdbc.url</name>
    <value>jdbc:mysql://mysql-server:3306/oozie</value>
    <description>
        JDBC URL.
    </description>
</property>
<property>
    <name>oozie.service.JPAService.jdbc.username</name>
    <value>shirdrn</value>
    <description>
        DB user name.
    </description>
</property>
<proerty>
    <name>oozie.service.JPAService.jdbc.password</name>
    <value>0o21e</value>
    <description>
        DB user password.
        IMPORTANT: if password is emtpy leave a 1 space string, the service trims the value,
                   if empty Configuration assumes it is NULL.
    </description>
</property>
</font></font>
复制代码

默认情况下，Oozie的配置中有个配置项oozie.service.JPAService.create.db.schema，值为false，设置非自动创建数据库，我们保持默认设置，这样可以通过手动创建Oozie数据库，并对其进行权限控制。然后，我们在MySQL数据库中创建数据库，名称为oozie，并进行访问授权：

<font color="rgb(64, 64, 64)"><font face="Ubuntu">CREATE DATABASE oozie;
GRANT ALL ON oozie.* TO 'shirdrn'@'oozie-server' IDENTIFIED BY '0o21e';
FLUSH PRIVILEGES;
</font></font>
复制代码

然后可以执行如下命令，生成Oozie所需要的数据表：

<font color="rgb(64, 64, 64)"><font face="Ubuntu">bin/ooziedb.sh create -sqlfile oozie.sql -run</font></font>
复制代码

查看控制台输出日志，没有报错，并且在当前目录下可以看到，同时也生成了oozie.sql脚本文件。到MySQL数据库中可以看到生成的表，说明上述操作执行成功。
下面可以启动Oozie，使用如下命令：

<font color="rgb(64, 64, 64)"><font face="Ubuntu">        bin/oozied.sh start
</font></font>
复制代码

由于启动信息过多，这里便不贴出来了！

从上面日志可以看到，Oozie管理控制台连接为http://oozie-server:11000/oozie，可以看到图形化界面。

整合Oozie和Hadoop

我们的Hadoop平台使用的是用户shirdrn，用户组为shirdrn，这里配置Hadoop代理用户也使用该用户，部署Oozie的主机名为oozie-server。修改Hadoop的配置文件core-site.xml，增加如下配置内容：

<font color="rgb(64, 64, 64)"><font face="Ubuntu"><!-- OOZIE -->
<property>
     <name>hadoop.proxyuser.shirdrn.hosts</name>
<valuee>oozie-server</value>
</property>
<property>
     <name>hadoop.proxyuser.shirdrn.groups</name>
     <value>shirdrn</value>
</property>
</font></font>
复制代码

修改完上述配置后，需要重新启动Hadoop集群才能生效。

安装Oozie Client

我们可以通过在外部的一个Oozie客户端去提交工作流任务，实际上就是一个客户端程序，通过与Oozie Server进行交互，提交任务，并由Oozie Server去调用执行。
我们可以回到前面解压缩Oozie发行包oozie-3.3.2.tar.gz的目录下，通过前面的构建，现在已经可以看到有一个client目录，该目录下就是Oozie的客户端相关文件。含有Oozie客户端脚本的路径，我这里为/home/shirdrn/cloud/programs/oozie-3.3.2/client/target/oozie-client-3.3.2-client/oozie-client-3.3.2。
查看Oozie客户端运行job的命令帮助信息，可以执行如下命令：

<font color="rgb(64, 64, 64)"><font face="Ubuntu">cd /home/shirdrn/cloud/programs/oozie-3.3.2/client/target/oozie-client-3.3.2-client/oozie-client-3.3.2
bin/oozie help
bin/oozie help job
</font></font>
复制代码

我们可以找到，Oozie发行包中自带的examples，我这里对应的目录是/home/shirdrn/cloud/programs/oozie-3.3.2/examples/target/oozie-examples-3.3.2-examples/examples/apps，我们可以通过运行这些例子来验证安装是否成功。
首先，将Oozie自带的examples上传到HDFS上：

<font color="rgb(64, 64, 64)"><font face="Ubuntu">bin/hadoop fs -mkdir /oozie
bin/hadoop fs -copyFromLocal /home/shirdrn/cloud/programs/oozie-3.3.2/examples/target/oozie-examples-3.3.2-examples/examples /user/shirdrn/examples</font></font>
复制代码

我们拿examples中的map-reduce来进行验证，修改job.properties文件，配置内容如下所示：

<font color="rgb(64, 64, 64)"><font face="Ubuntu">nameNode=hdfs://m1:9000
jobTracker=m1:19830
queueName=default
examplesRoot=examples
oozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/apps/map-reduce
outputDir=map-reduce
</font></font>
复制代码

我的环境下，Namenode服务端口为hdfs://m1:9000，JobTracker为m1:19830，运行任务，执行如下命令：

<font color="rgb(64, 64, 64)"><font face="Ubuntu">cd /home/shirdrn/cloud/programs/oozie-3.3.2/client/target/oozie-client-3.3.2-client/oozie-client-3.3.2
bin/oozie job -oozie http://oozie-server:11000/oozie -config /home/shirdrn/cloud/programs/oozie-3.3.2/examples/target/oozie-examples-3.3.2-examples/examples/apps/map-reduce/job.properties -run</font></font>
复制代码

可以通过OozieWeb管理控制台查看提交运行的任务，如图所示：

以及，job配置，运行状态等信息，如图所示：

上面命令选项-run表示直接运行一个job，当然你可以使用其他选项，如-submit是提交job，-rerun是重新运行job，-suspend是挂起job等等，可以查看命令帮助，或参考相关文档。

哎，这开源码太多，都不知道版本怎么对应了！

飘过，学习学习！

谢谢楼主学习了！