hadoop学习:impala的简单使用以及与hive的区别

问题导读:
1.impala有什么作用？
2.impala常用命令有什么？
3.impala与hive有什么区别？

上个月参与了公司的大数据接口平台项目，其中就使用到了impala提供实时查询接口。而且，在使用当中还遇到了关于impala版本的问题，主要是sql语法上的差异，目前已经到了2.4了，而我们公司集群环境使用的版本是1.3。
下面，笔者将分以下几个步骤进行介绍。

一、impala的基本概念与原理

Impala是Cloudera在受到Google的Dremel启发下开发的实时交互SQL大数据查询工具，Impala没有再使用缓慢的 Hive+MapReduce批处理，而是通过使用与商用并行关系数据库中类似的分布式查询引擎（由Query Planner、Query Coordinator和Query Exec Engine三部分组成），可以直接从HDFS或HBase中用SELECT、JOIN和统计函数查询数据，从而大大降低了延迟。
我们可以看看cloudera manager上impala相关的服务，如下图：

Impala架构:

Impalad: 与DataNode运行在同一节点上，由Impalad进程表示，它接收客户端的查询请求（接收查询请求的Impalad为 Coordinator，Coordinator通过JNI调用java前端解释SQL查询语句，生成查询计划树，再通过调度器把执行计划分发给具有相应数据的其它Impalad进行执行），读写数据，并行执行查询，并把结果通过网络流式的传送回给Coordinator，由Coordinator返回给客户端。同时Impalad也与State Store保持连接，用于确定哪个Impalad是健康和可以接受新的工作。在Impalad中启动三个ThriftServer: beeswax_server（连接客户端），hs2_server（借用Hive元数据）， be_server（Impalad内部使用）和一个ImpalaServer服务。

Impala State Store: 跟踪集群中的Impalad的健康状态及位置信息，由statestored进程表示，它通过创建多个线程来处理Impalad的注册订阅和与各 Impalad保持心跳连接，各Impalad都会缓存一份State Store中的信息，当State Store离线后（Impalad发现State Store处于离线时，会进入recovery模式，反复注册，当State Store重新加入集群后，自动恢复正常，更新缓存数据）因为Impalad有State Store的缓存仍然可以工作，但会因为有些Impalad失效了，而已缓存数据无法更新，导致把执行计划分配给了失效的Impalad，导致查询失败。

CLI: 提供给用户查询使用的命令行工具（Impala Shell使用python实现），同时Impala还提供了Hue，JDBC， ODBC使用接口。

Impala的查询处理流程：

二、impala的常用命令

首先，我们在装有impalad服务的节点上执行impala-shell，便可进入命令行。
执行show databases;可以看到：

这个qyk_test数据库是我们在上一篇博文中通过hive创建的。我们只需执行INVALIDATE METADATA;便可将hive的元数据同步到impala，这个在后面的博文中还会进行介绍。
执行show tables;可以看到：

下面，我们执行select * from user_info;可以看到：

还可以执行create table user_info_copy as select * from user_info;直接将查询出来的数据入到一张新表中去，如下：

然后，我们执行drop table user_info_copy;便可删除临时表，如下：

好了，基本的命令就说到这儿了。

三、impala分页

impala中的分页是通过limit和offset实现，例如页大小为4，按id升序，我们要取user_info中第三页的数据，分页语句为select * from user_info order by id asc limit 2 offset 4;

也就是limit后面为pageSize，offset后面为（currentPage-1）*pageSize。

四、impala与hive的比较

与Hive的关系，如下图：

Impala与Hive的异同：
数据存储：使用相同的存储数据池都支持把数据存储于HDFS, HBase。
元数据：两者使用相同的元数据。

SQL解释处理：比较相似都是通过词法分析生成执行计划。

执行计划：
Hive: 依赖于MapReduce执行框架，执行计划分成 map->shuffle->reduce->map->shuffle->reduce…的模型。如果一个Query会被编译成多轮MapReduce，则会有更多的写中间结果。由于MapReduce执行框架本身的特点，过多的中间过程会增加整个Query的执行时间。

Impala: 把执行计划表现为一棵完整的执行计划树，可以更自然地分发执行计划到各个Impalad执行查询，而不用像Hive那样把它组合成管道型的 map->reduce模式，以此保证Impala有更好的并发性和避免不必要的中间sort与shuffle。

数据流：
Hive: 采用推的方式，每一个计算节点计算完成后将数据主动推给后续节点。
Impala: 采用拉的方式，后续节点通过getNext主动向前面节点要数据，以此方式数据可以流式的返回给客户端，且只要有1条数据被处理完，就可以立即展现出来，而不用等到全部处理完成，更符合SQL交互式查询使用。

内存使用：
Hive: 在执行过程中如果内存放不下所有数据，则会使用外存，以保证Query能顺序执行完。每一轮MapReduce结束，中间结果也会写入HDFS中，同样由于MapReduce执行架构的特性，shuffle过程也会有写本地磁盘的操作。
Impala: 在遇到内存放不下数据时，当前版本1.0.1是直接返回错误，而不会利用外存，以后版本应该会进行改进。这使用得Impala目前处理Query会受到一定的限制，最好还是与Hive配合使用。Impala在多个阶段之间利用网络传输数据，在执行过程不会有写磁盘的操作（insert除外）

五、使用java连接impala进行基本的操作

pom依赖：由于impala使用的就是hive的元数据，因此直接可以通过连接thrift server进行相关操作。故使用hive的依赖即可。

首先，直接贴出代码如下：

[mw_shl_code=java,true]package org.impala.demo;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;

import org.apache.log4j.Logger;

public class ImpalaJdbcClient {
private static String driverName = "org.apache.hive.jdbc.HiveDriver";
private static String url = "jdbc:hive2://172.31.25.8:21050/qyk_test;auth=noSasl";
private static String user = "impala";
private static String password = "";
private static final Logger log = Logger.getLogger(ImpalaJdbcClient.class);

public static void main(String[] args) {
      try {
         Class.forName(driverName);
         Connection conn = DriverManager.getConnection(url, user, password);
         Statement stmt = conn.createStatement();

         // 创建的表名
         String tableName = "user";
         stmt.execute("drop table if exists " + tableName);
         stmt.execute("create table " + tableName
                  + " (key int, value string) row format delimited fields terminated by '\t'");
         // show tables
         String sql = "show tables '" + tableName + "'";
         System.out.println("Running: " + sql);
         ResultSet res = stmt.executeQuery(sql);
         if (res.next()) {
            System.out.println(res.getString(1));
         }
         // describe table
         sql = "describe " + tableName;
         System.out.println("Running: " + sql);
         res = stmt.executeQuery(sql);
         while (res.next()) {
            System.out.println(res.getString(1) + "\t" + res.getString(2));
         }

         // load data into table
         // NOTE: filepath has to be local to the hive server
         // NOTE: /tmp/a.txt is a ctrl-A separated file with two fields per
         // line
         String filepath = "/tmp/userinfo.txt";
         sql = "load data inpath '" + filepath + "' into table " + tableName;
         System.out.println("Running: " + sql);
         stmt.execute(sql);

         // select * query
         sql = "select * from " + tableName;
         System.out.println("Running: " + sql);
         res = stmt.executeQuery(sql);
         while (res.next()) {
            System.out.println(String.valueOf(res.getInt(1)) + "\t" + res.getString(2));
         }

         // regular hive query
         sql = "select count(1) from " + tableName;
         System.out.println("Running: " + sql);
         res = stmt.executeQuery(sql);
         while (res.next()) {
            System.out.println(res.getString(1));
         }
      } catch (ClassNotFoundException e) {
         e.printStackTrace();
         log.error(driverName + " not found!", e);
         System.exit(1);
      } catch (SQLException e) {
         e.printStackTrace();
         log.error("Connection error!", e);
         System.exit(1);
      }

}
}[/mw_shl_code]

然后，准备一个userinfo.txt如下，放在hdfs上的/tmp目录下：

[mw_shl_code=applescript,true]1 zhangshan
2 lisi
3 wangwu
5 baidu[/mw_shl_code]

然后，执行可以看到控制台输出如下：

然后，我们在impala命令行执行select * from user，可以看到：

好了，关于impala的基本使用就说到这儿了，至于如何同步hive元数据到impala以及如何同步hbase表数据到hive，在下一篇博文中再进行介绍。