日志
Centos6.5+Hive-0.14+mysql5.6搭建与处理问题
|
在搭建HIVE-0.14版本是，安装的是mysql5.6数据库，如何环境配置及遇见的错误处理：
1. hive在hdfs中的默认位置是/user/hive/warehouse，是由配置文件hive-site.xml中属性hive.metastore.warehouse.dir决定的。
2.hive的安装
(1)解压缩、重命名、设置环境变量
(2)在目录$HIVE_HOME/conf/下，执行命令mv hive-default.xml.template hive-site.xml重命名
在目录$HIVE_HOME/conf/下，执行命令mv hive-env.sh.template hive-env.sh重命名
(3)修改hadoop的配置文件hadoop-env.sh，修改内容如下：
export HADOOP_CLASSPATH=.:$CLASSPATH:$HADOOP_CLASSPATH:$HADOOP_HOME/bin
(4)在目录$HIVE_HOME/bin下面，修改文件hive-config.sh，增加以下内容：
export JAVA_HOME=/usr/local/jdk
export HIVE_HOME=/usr/local/hive
export HADOOP_HOME=/usr/local/hadoop
3.安装mysql
(1)删除linux上已经安装的mysql相关库信息。rpm -e xxxxxxx --nodeps (强制删除)
执行命令rpm -qa |grep mysql 检查是否删除干净
(2)执行命令 rpm -i MySQL-server-****.rpm 安装mysql服务端
(3)启动mysql 服务端，执行命令 mysqld_safe & //设置后台启动模式
(4)执行命令 rpm -i mysql-client-******** 安装mysql客户端
(5)执行命令 mysql_secure_installation 设置root用户密码
mysql -uroot -padmin
mysql不允许远程连接，需要在登陆mysql中执行授权命令：命令如下：
grant all on hive.* to 'root'@'%' identified by 'admin' ; -- 允许远程用户连接hive数据库
grant all on *.* to 'root'@'%' identified by 'admin' ; -- 允许远程用户连接所有数据库
flush privileges; 刷新一下权限表
4. 使用mysql作为hive的metastore
(1)把mysql的jdbc驱动放置到hive的lib目录下
cp ${HOME_USER}/mysql-connector-java-5.1.34-bin.jar /usr/local/hive/lib/
(2)修改hive/conf/hive-site.xml文件，修改内容如下：
<!-- 如果不使用默认的metastore ，需要在mysql中先建立数据库-->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://hadoop0:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>admin</value>
</property>
<!-- hive-0.14 设置，如没有配置，启动hive的时候，会异常错误，请看下文-->
<property>
<name>hive.querylog.location</name>
<value>/usr/local/hive/iotmp/</value>
<description>Location of Hive run time structured log file</description>
</property>
<property>
<name>hive.server2.logging.operation.log.location</name>
<value>/usr/local/hive/iotmp/operation_logs</value>
<description>Top level directory where operation logs are stored if logging functionality is enabled</description>
</property>
<property>
<name>hive.exec.local.scratchdir</name>
<value>/usr/local/hive/iotmp/</value>
<description>Local scratch space for Hive jobs</description>
</property>
<property>
<name>hive.downloaded.resources.dir</name>
<value>/usr/local/hive/iotmp/${hive.session.id}_resources</value>
<description>Temporary local directory for added resources in the remote file system.</description>
</property>
5.使用hive，在${HIVE_HOME}/bin/ 执行 hive 命令，在${HIVE_HOME}/iotmp/下显示文件如图所示：
6.验证HIVE是否安装正确：
[root@Master iotmp]# jps
14491 SecondaryNameNode
14779 NodeManager
14368 DataNode
16934 Jps
14690 ResourceManager
16724 RunJar
14284 NameNode
15094 QuorumPeerMain
7.验证HIVE是否能正常使用：
hive> create table t2(id int);
OK Time taken: 2.73 seconds
hive> show databases;
OK default Time taken: 0.209 seconds, Fetched: 1 row(s)
hive> show tables;
OK t1 t2 Time taken: 0.172 seconds, Fetched: 2 row(s)
hive>
搭建中错误异常信息：请参考
/2 
