about云开发

 找回密码
 立即注册

QQ登录

只需一步,快速开始

扫一扫,访问微社区

查看: 194191|回复: 17

[介绍解说] hive内部表与外部表区别详细介绍

[复制链接]

666

主题

315

听众

293

收听

版主

Rank: 7Rank: 7Rank: 7

积分
6539

活跃会员热心会员推广达人宣传达人突出贡献优秀版主论坛元老

发表于 2014-4-21 17:52:09 | 显示全部楼层 |阅读模式
问题导读:
1.创建内部表与外部表的区别是什么?
2.external关键字的作用是什么?
3.外部表与内部表的区别是什么?
4.删除表的时候,内部表与外部表有什么区别?
5.load data local inpath '/home/wyp/data/wyp.txt' into table wyp;的过程是什么样子的?
6.磁盘,hdfs,hive表他们之间的过程是什么样子的?






好了,进入正题。今天我们要探讨的话题是Hive的里面的表与外部表两个概念,以及如何在Hive里面创建表和外部表,它们之间有什么区别等话题。在本博客的 让你彻底明白hive数据存储各种模式文章里面我们谈到了Hive的数据存储模式,里面简单的说到Hive中表以及外部表的简单概念,相信很多读者对这些概念还不是很了解,今天就给大家科普一下,希望对大家有所帮助。
  相信很多用户都用过关系型数据库,我们可以在关系型数据库里面创建表(create table),这里要讨论的表和关系型数据库中的表在概念上很类似。我们可以用下面的语句在Hive里面创建一个表:


  1. hive> create table wyp(id int,
  2.     > name string,
  3.     > age int,
  4.     > tele string)
  5.     > ROW FORMAT DELIMITED
  6.     > FIELDS TERMINATED BY '\t'
  7.     > STORED AS TEXTFILE;
  8. OK
  9. Time taken: 0.759 seconds
复制代码
这样我们就在Hive里面创建了一张普通的表,现在我们给这个表导入数据:

  1. hive> load data local inpath '/home/wyp/data/wyp.txt' into table wyp;
  2. Copying data from file:/home/wyp/data/wyp.txt
  3. Copying file: file:/home/hdfs/wyp.txt
  4. Loading data to table default.wyp
  5. Table default.wyp stats: [num_partitions: 0, num_files: 1,
  6.            num_rows: 0, total_size: 67, raw_data_size: 0]
  7. OK
  8. Time taken: 3.289 seconds
  9. hive> select * from wyp;
  10. OK
  11. 1       wyp     25      13188888888888
  12. 2       test    30      13888888888888
  13. 3       zs      34      899314121
  14. Time taken: 0.41 seconds, Fetched: 3 row(s)
复制代码

注意:/home/wyp/data/路径是Linux本地文件系统路径;而/home/hdfs/是HDFS文件系统上面的路径!从上面的输出我们可以看到数据是先从本地的/home/wyp/data/文件夹下复制到HDFS上的/home/hdfs/wyp.txt(这个是Hive中的配置导致的)文件中!最后Hive将从HDFS上把数据移动到wyp表中!移到表中的数据到底存放在HDFS的什么地方?其实在Hive的${HIVE_HOME}/conf/hive-site.xml配置文件的hive.metastore.warehouse.dir属性指向的就是Hive表数据存放的路径(在我的店电脑里面配置是/user/hive/warehouse),而Hive每创建一个表都会在hive.metastore.warehouse.dir指向的目录下以表名创建一个文件夹,所有属于这个表的数据都存放在这个文件夹里面。所以,刚刚导入到wyp表的数据都存放在/user/hive/warehouse/wyp/文件夹中,我们可以去看看:


  1. hive> dfs -ls /user/hive/warehouse/wyp ;
  2. Found 1 items
  3. -rw-r--r-- 3 wyp supergroup   67 2014-01-14 22:23 /user/hive/warehouse/wyp/wyp.txt
复制代码

看到没,上面的命令就是显示HDFS上的/user/hive/warehouse/wyp中的所有内容。如果需要删除wyp表,可以用下面的命令:

  1. hive> drop table wyp;
  2. Moved: 'hdfs://mycluster/user/hive/warehouse/wyp' to
  3.         trash at: hdfs://mycluster/user/hdfs/.Trash/Current
  4. OK
  5. Time taken: 2.503 seconds
复制代码


从上面的输出Moved: ‘hdfs://mycluster/user/hive/warehouse/wyp’ to trash at: hdfs://mycluster/user/hdfs/.Trash/Current我们可以得知,原来属于wyp表的数据被移到hdfs://mycluster/user/hdfs/.Trash/Current文件夹中(如果你的Hadoop没有取用垃圾箱机制,那么drop table wyp命令将会把属于wyp表的所有数据全部删除!),其实就是删掉了属于wyp表的数据。记住这些,因为这些和外部表有很大的不同。同时,属于表wyp的元数据也全部删除了!
我们再来创建一个外部表:


  1. hive> create external table exter_table(
  2.     > id int,
  3.     > name string,
  4.     > age int,
  5.     > tel string)
  6.     > location '/home/wyp/external';
  7. OK
  8. Time taken: 0.098 seconds
复制代码

仔细观察一下创建表和外部表的区别,仔细的同学们一个会发现创建外部表多了external关键字说明以及location ‘/home/wyp/external’。是的,你说对了!如果你需要创建外部表,需要在创建表的时候加上external关键字,同时指定外部表存放数据的路径(当然,你也可以不指定外部表的存放路径,这样Hive将在HDFS上的/user/hive/warehouse/文件夹下以外部表的表名创建一个文件夹,并将属于这个表的数据存放在这里):

  1. hive> load data local inpath '/home/wyp/data/wyp.txt' into table exter_table;
  2. Copying data from file:/home/wyp/data/wyp.txt
  3. Copying file: file:/home/hdfs/wyp.txt
  4. Loading data to table default.exter_table
  5. Table default.exter_table stats: [num_partitions: 0, num_files:
  6.             1, num_rows: 0, total_size: 67, raw_data_size: 0]
  7. OK
  8. Time taken: 0.456 seconds
复制代码

和上面的导入数据到表一样,将本地的数据导入到外部表,数据也是从本地文件系统复制到HDFS中/home/hdfs/wyp.txt文件中,但是,最后数据不是移动到外部表的/user/hive/warehouse/exter_table文件夹中(除非你创建表的时候没有指定数据的存放路径)!大家可以去HDFS上看看!对于外部表,数据是被移动到创建表时指定的目录(本例是存放在/home/wyp/external文件夹中)!如果你要删除外部表,看看下面的操作:

  1. hive> drop table exter_table;
  2. OK
  3. Time taken: 0.093 seconds
复制代码
和上面删除Hive的表对比可以发现,没有输出将数据从一个地方移到任一个地方!那是不是删除外部表的的时候数据直接被删除掉呢?答案不是这样的:

  1. hive> dfs  -ls /home/wyp/external;
  2. Found 1 items
  3. -rw-r--r--  3 wyp supergroup 67 2014-01-14 23:21 /home/wyp/external/wyp.txt
复制代码

你会发现删除外部表的时候,数据并没有被删除,这是和删除表的数据完全不一样的!

最后归纳一下Hive中表与外部表的区别:
1、在导入数据到外部表,数据并没有移动到自己的数据仓库目录下,也就是说外部表中的数据并不是由它自己来管理的!而表则不一样;
2、在删除表的时候,Hive将会把属于表的元数据和数据全部删掉;而删除外部表的时候,Hive仅仅删除外部表的元数据,数据是不会删除的!
那么,应该如何选择使用哪种表呢?在大多数情况没有太多的区别,因此选择只是个人喜好的问题。但是作为一个经验,如果所有处理都需要由Hive完成,那么你应该创建表,否则使用外部表!





2

主题

10

听众

9

收听

高级会员

Rank: 4

积分
1274
发表于 2015-3-8 23:57:09 | 显示全部楼层
讲解很详细,简单明了,谢谢

3

主题

4

听众

3

收听

注册会员

Rank: 2

积分
160
发表于 2015-5-10 08:56:40 | 显示全部楼层
非常好

0

主题

2

听众

0

收听

中级会员

Rank: 3Rank: 3

积分
953
发表于 2015-7-21 17:20:26 | 显示全部楼层
不错。学习了。

1

主题

3

听众

2

收听

注册会员

Rank: 2

积分
97
发表于 2016-3-9 16:55:51 | 显示全部楼层
mark下,方便以后学习:hive内部表与外部表区别。另外感谢楼主分享......

0

主题

5

听众

0

收听

高级会员

Rank: 4

积分
1710
发表于 2016-5-10 17:42:31 | 显示全部楼层
总结的不错

0

主题

0

听众

0

收听

新手上路

Rank: 1

积分
16
发表于 2016-5-11 14:01:49 | 显示全部楼层
好,感谢分享!

0

主题

2

听众

0

收听

中级会员

Rank: 3Rank: 3

积分
437
发表于 2016-6-13 14:43:42 | 显示全部楼层
写的非常好,简单易懂

0

主题

2

听众

0

收听

中级会员

Rank: 3Rank: 3

积分
247
发表于 2016-6-16 11:21:27 | 显示全部楼层
谢谢分享,过程很详细

16

主题

7

听众

3

收听

中级会员

Rank: 3Rank: 3

积分
813

最佳新人

发表于 2016-9-10 11:43:38 | 显示全部楼层
好文章,通过文章+实际操作知道了不少:
创建外部表的时候必须尾加location 'hdfs地址目录'  ,要不然跟内布标一样并且在hdfs上查不到这个表的任何信息
通过insert overwrite table ext_table select * from other_table ,插入数据是将外部表的目录下的所有文档清空,然后将从other_table抽取过来的数据以二进制的形式存储在hdfs系统的外部表目录下
而用load 将外部的数据文件导入外部表中,只是会将该数据文件复制(本地系统文件)或移动(hdfs系统文件)到外部表目录下
感谢楼主的案例及详解
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /3 下一条

QQ|小黑屋|about云开发-学问论坛|社区 ( 京ICP备12023829号

GMT+8, 2018-12-16 02:42 , Processed in 1.956740 second(s), 37 queries , Gzip On.

Powered by Discuz! X3.2 Licensed

快速回复 返回顶部 返回列表