分享

让你真正明白什么是hive

 
pig2 2014-4-16 17:46:19 发表于 推荐型 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 69 130965
desehawk 发表于 2017-3-16 18:24:45
Wyy_Ck 发表于 2017-3-16 16:33
Hive目前还不支持事务;不能对表数据进行修改(不能更新、删除、插入;只能通过文件追加数据、重新导入数据 ...

以前版本不支持,现在的版本已经支持。推荐下面帖子
hive如何配置支持事务及insert、update、delete
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21274
hive用处比较大。可以用来分析数据,只需要用sql即可。

回复

使用道具 举报

sunbrillant 发表于 2017-8-13 10:19:49
楼主出品~必为精品~~~~~~~~~~~~~~
回复

使用道具 举报

yngwiewang 发表于 2017-10-26 15:18:32
看了好多书和材料,只有这篇讲明白了,谢谢。
回复

使用道具 举报

yyang0709 发表于 2017-11-6 10:24:35
看了楼主的文章,还是有很多疑问的

首先对数据仓库的定义,数据仓库里ETL是数仓开发人员开发的重头戏,作为hive,没有找到任何能支持ETL的地方,可把数据分析理解为数仓的全部是不是有些片面?

看了很多关于hive的文章,发现hive是把数据存在HDFS里的文件,这样的话hive实现了用SQL引擎对文件进行查询,那现在的关系型数据库是否会要向hive看齐,数据不再入库,直接存在txt文件里操作就行了

回复

使用道具 举报

nextuser 发表于 2017-11-6 14:46:36
yyang0709 发表于 2017-11-6 10:24
看了楼主的文章,还是有很多疑问的

首先对数据仓库的定义,数据仓库里ETL是数仓开发人员开发的重头戏, ...

楼主可参考下面内容
如何使用 Hive 实现 ELT
我从世界银行的网站提取逗号分隔值(CSV)文件。该网站有大量关于经济、金融、贫困等方面的样本和真实数据。在这个示例中,我下载了 World-Finance, Inequality, and Poverty 1958-1998。这些数据将用于研究和教育目的,它们是 52 个发展中国家和发达国家的样本汇总。这些数据包括私人信贷、通货膨胀、国内生产总值(GDP)、GDP 增长率、收入占比等指标,它们提供了可能的洞察力。

在这个示例中,我使用 Hive 从网站提取数据,加载它,并转换它。此用例的目标是要取消各种来源的标准(本例中有 4 个 CSV 文件),然后对一个列执行一些简单的汇总。在您阅读这篇文章,并逐步完成这个示例之后,就会知道如何使用 Hive 实现 ELT 功能。要学习如何执行传统的 ETL 功能,只需逆转该流程,先使用 Hive 转换和汇总数据,然后加载它。
来自:
hive如何作为etl工具
http://www.aboutyun.com/home.php ... do=blog&id=3483

回复

使用道具 举报

yyang0709 发表于 2017-11-8 08:51:13
本帖最后由 yyang0709 于 2017-11-8 08:57 编辑
nextuser 发表于 2017-11-6 14:46
楼主可参考下面内容
来自:
hive如何作为etl工具

非常感谢,顺便想问下hbase的一些疑问,hbase有rowkey的设计,类似于关系数据库的主键,但是关系数据库的主键是可以删除或修改的(在字段允许的情况下),那rowkey支持换主键么,或者如果有同样一张表的不同主键设计,在hbase里是不是得重新建一张表
比如分户账
账户组account_id,账户序列account_seqn 这两个就能确认一个主键,这时如果有了币种的概念curr_id,那表的主键由account_id,account_seqn改成account_id,account_seqn,curr_id。在关系型数据库里修改就可以了。
但hbase这个rowkey的设计,设计好了能修改改动么,还是改动rowkey只能重新建一张表
回复

使用道具 举报

nextuser 发表于 2017-11-8 18:20:24
yyang0709 发表于 2017-11-8 08:51
非常感谢,顺便想问下hbase的一些疑问,hbase有rowkey的设计,类似于关系数据库的主键,但是关系数据库的 ...

其实这不是修改,只是在插入的时候,放入的值不同而已,应该是可以的。但是你查询的时候,可能就麻烦一些了。
回复

使用道具 举报

hadoopoumm 发表于 2018-5-14 17:03:15
讲的不错啊。。。
回复

使用道具 举报

cyanide 发表于 2018-9-12 11:33:29
基础认知,很有必要学习学习
回复

使用道具 举报

zenppl 发表于 2018-11-22 11:00:39
为了积分疯狂回复1111114
回复

使用道具 举报

1234567
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条