非Kerberos环境下为Hive2.2.0配置Tez0.8.5计算引擎

问题导读：

1.怎样Tez版本选择？

2.Hive2怎样集成Tez？

3.集成Tez过程中常见异常有哪些？

最新经典文章，欢迎关注公众号

1.文档编写目的

本篇文章主要介绍如何在非Kerberos环境下为Hive2.2.0配置Tez计算引擎。

本篇文章的测试环境为

1.CM和CDH版本为5.15
2.Redhat7.3
3.JDK1.8.0_141
4.Hive版本为2.2.0
5.Tez版本为0.8.5

2.环境准备

1.Tez版本选择

对于Tez版本0.8.3及更高版本需要Apache Hadoop2.6.0或更高版本。对于Tez版本为0.9.0及更高版本则需要Apache Hadoop2.7或更高版本。在CDH集群中使用的Hadoop版本为2.6.0，所以这里选择Tez的版本为0.8.5。

2.在Apache官网下载Tez包，下载地址如下：

[mw_shl_code=text,true]http://mirror.bit.edu.cn/apache/tez/0.8.5/apache-tez-0.8.5-bin.tar.gz[/mw_shl_code]

将apache-tez-0.8.5-bin.tar.gz压缩包下载至Hive2服务所在服务器

将下载好的压缩包解压至当前目录

[mw_shl_code=shell,true][root@cdh01 tez-0.8.5]# tar -zxvf apache-tez-0.8.5-bin.tar.gz[/mw_shl_code]

3.Hive2集成Tez

1.将apache-tez-0.8.5-bin/share目录下的压缩包部署至HDFS上

[mw_shl_code=shell,true][root@cdh01 tez-0.8.5]# cd apache-tez-0.8.5-bin/share/
[root@cdh01 share]# hadoop fs -mkdir -p /engine/tez-0.8.5/
[root@cdh01 share]# hadoop fs -put tez.tar.gz /engine/tez-0.8.5/
[root@cdh01 share]# hadoop fs -chmod -R 777 /engine
[root@cdh01 share]# hadoop fs -ls /engine/tez-0.8.5[/mw_shl_code]

2.在{HIVE_HOME}/conf目录下创建tez-site.xml文件，内容如下：

[mw_shl_code=shell,true][root@cdh04 conf]# vim tez-site.xml
<configuration>
    <property>
        <name>tez.lib.uris</name>
        <value>/engine/tez-0.8.5/tez.tar.gz</value>
    </property>
</configuration>[/mw_shl_code]

注意：tez.lib.uris配置的路径为上一步tez.tar.gz压缩包部署的HDFS路径。同样tez-site.xml文件需要拷贝至HiveServer2和HiveMetastore服务所在节点的相应目录下。

3.将apache-tez-0.8.5-bin/share目录下的tez.tar.gz压缩包解压当前lib目录下

[mw_shl_code=shell,true][root@cdh01 tez-0.8.5]# cd apache-tez-0.8.5-bin/
[root@cdh01 apache-tez-0.8.5-bin]# cd share/
[root@cdh01 share]# ll
[root@cdh01 share]# mkdir lib
[root@cdh01 share]# tar -zxvf tez.tar.gz -C lib/[/mw_shl_code]

4.将lib和lib/lib目录下的所有jar包拷贝至{HIVE_HOME}/lib目录下

[mw_shl_code=shell,true][root@cdh01 lib]# pwd
/data/disk1/tez-0.8.5/apache-tez-0.8.5-bin/share/lib
[root@cdh01 lib]# scp -r *.jar /opt/cloudera/HIVE2/lib/
[root@cdh01 lib]# scp -r lib/*.jar /opt/cloudera/HIVE2/lib/
[root@cdh01 lib]# ll /opt/cloudera/HIVE2/lib/tez-*[/mw_shl_code]

注意：Tez的依赖包需要拷贝至HiveServer2和HiveMetastore服务所在节点的相应目录下。

5.完成如上操作后，重启HiveServer和HiveMetastore服务

[mw_shl_code=shell,true][root@cdh04 ~]# hive2
[root@cdh04 ~]# netstat -apn |grep 9083
[root@cdh04 ~]# hive2-server
[root@cdh04 ~]# netstat -apn |grep 10000[/mw_shl_code]

hive2和hive2-server命令在环境变量中配置了别名：

4.Hive2 On Tez测试

1.使用hive命令测试

[mw_shl_code=shell,true][root@cdh04 ~]# sudo -u hive /opt/cloudera/HIVE2/bin/hive --hiveconf hive.root.logger=INFO,console
hive> SET hive.tez.container.size=3020;
hive> set hive.execution.engine=tez;
hive> select count(*) from test;[/mw_shl_code]

2.使用Beeline测试

[mw_shl_code=shell,true][root@cdh04 ~]# /opt/cloudera/HIVE2/bin/beeline
beeline> !connect jdbc:hive2://cdh04.fayson.com:10000 hive hive
0: jdbc:hive2://cdh04.fayson.com:10000> SET hive.tez.container.size=3020;
0: jdbc:hive2://cdh04.fayson.com:10000> set hive.execution.engine=tez;
0: jdbc:hive2://cdh04.fayson.com:10000> select count(*) from test;[/mw_shl_code]

插入数据成功：

3.访问Yarn的8080界面可以看到作业类型为TEZ

5.常见异常

1.使用Beeline访问是提示不允许使用root用户模拟hive访问

原因：Fayson这里启动Hive服务使用的为root用户。

如下两种解决方式：

• 使用hive用户启动HiveServer2和HiveMetastore服务
• 在HDFS的core-site.xml配置文件中增加如下配置
  

[mw_shl_code=xml,true]<property>
  <name>hadoop.proxyuser.root.hosts</name>
  <value>*</value>
</property>
<property>
  <name>hadoop.proxyuser.root.groups</name>
  <value>*</value>
</property>[/mw_shl_code]

修改完成后回到CM根据提示重启所有服务。

2.设置为tez引擎后，执行SQL报错

异常原因：在Hive使用Tez引擎是，Tez使用hive.tez.container.size参数生成一个Mapper，在Hive中该参数默认配置为-1。

解决方法：

• 在hive-site.xml配置中增加该参数并设置为Yarn容器yarn.scheduler.minimum-allocation-mb相同或1到2倍，但不能大于yarn.scheduler.maximum-allocation-mb。
• 在执行SQL在动态的设置set hive.tez.container.size=4096
  

6.总结

1.Hive2 On Tez集成时需要确认Hadoop的版本，根据Hadoop的版本选择支持的Tez版本。

2.Hive2集成Tez时需要注意你HiveServer2和HiveMetastore服务是否在同一个节点上，如果不在同一个节点上tez-site.xml和依赖包需要拷贝至服务所在节点的相应目录下。

3.在本篇文章虽然在非Kerberos环境的Hive2中成功的集成了Tez0.8.5，但官网默认编译的版本在CDH中会有依赖的问题，可能会导致MR作业不能正常使用且在Kerberos环境下不能正常使用的问题，在后面的文章Fayson会介绍如何编译一个CDH依赖的Tez并集成。

来源： weixin

作者： Fayson Hadoop实操

原文链接：非Kerberos环境下Hive2.2.0 On Tez集成

https://mp.weixin.qq.com/s/_OWcAtC7Wf6e6r34DuIMgQ

很好， 学习了~