分享

mapreduce操作hbase求指教!求大神出山

zhangshuai 发表于 2015-5-15 11:34:39 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 7 14607
今天我跟老大反应:我用phoenix去查询hbase有点慢,是因为机器少的原因或者配置问题。老大直接丢了一句:你为什么不去用hadoop的mapreduce去查询hbase呢?这样多快啊。我想问下 这句话是不是错的。如果不是错的那么用mapreduce怎么去查询某一天下面的所有数据呢?

已有(7)人评论

跳转到指定楼层
xuanxufeng 发表于 2015-5-15 11:53:01


术业有专攻,老大可能是错的,心里话最好私底下交流。这里说说技术
mapreduce查询有时候还没有hive快,原因可能是我们自己写的mapreduce并没有优化
hbase是专门用来查询的,hbase比hive快是肯定的。





4.Hive query就是MapReduce jobs可以从5分钟到数小时不止,HBase是非常高效的,肯定比Hive高效的多。
来源:hive与hbase的十大区别与联系
回复

使用道具 举报

zhangshuai 发表于 2015-5-15 11:58:16
xuanxufeng 发表于 2015-5-15 11:53
术业有专攻,老大可能是错的,心里话最好私底下交流。这里说说技术
mapreduce查询有时候还没有hive快 ...

是的,以前一种方案我们就是用hive去分析数据,改成了Hbase。因为Hbase中吃scan等查询 不太方便就使用了phoenix可以用sql去操作。难道分析数据一定要使用一个个mapreduce程序猿手动写出来?我也跟老大说了 现在maprduce早已被替代了。像spark和strom的出现就是这样。哎。。蛋疼!
回复

使用道具 举报

tntzbzc 发表于 2015-5-15 12:09:48
zhangshuai 发表于 2015-5-15 11:58
是的,以前一种方案我们就是用hive去分析数据,改成了Hbase。因为Hbase中吃scan等查询 不太方便就使用了p ...

分析数据?楼主能否说说你们的具体实现,看看有没有更好的办法
回复

使用道具 举报

zhangshuai 发表于 2015-5-15 12:11:59
tntzbzc 发表于 2015-5-15 12:09
分析数据?楼主能否说说你们的具体实现,看看有没有更好的办法

公司架构是这样的,一个项目是一个接口项目从APP上每天读取数据到oracle上。在从oracle用存储过程去分析,得到数据到web页面。(数据也就是每天几千万条的样子,现在数据库有十几亿条。进数据慢,出数据慢!)怎么解决?领导说不用oracle了。
回复

使用道具 举报

tntzbzc 发表于 2015-5-15 13:39:43
zhangshuai 发表于 2015-5-15 12:11
公司架构是这样的,一个项目是一个接口项目从APP上每天读取数据到oracle上。在从oracle用存储过程去分析 ...

如果以前的数据还有用,可以使用sqoop导入到hadoop上,实时性比较强的storm和spark都行,这个实时分析,进去结果就出来了
回复

使用道具 举报

zhangshuai 发表于 2015-5-15 17:13:57

你在说什么??
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条