分享

BI的OLAP实施查询有相应比较好的方案吗

johnson_hong 发表于 2014-11-7 14:56:57 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 2 9066
本帖最后由 johnson_hong 于 2014-11-7 18:42 编辑

传统的方案都是通过ETL抽取到数据库,然后聚集进行降维,最后前端查询汇总后的数据。看了一下现在的技术似乎都不能对用户查询做到秒级相应。
问了一下做BI的同事,他们也是在较少地方用到hadoop,最后的分析结果还是入数据库,通过分表分区支持大数据查询。-------------
1.另外有没有牛人能谈一下对数据存储分库分表具体怎么切比较合适?
个人想法如下:按照业务垂直分库,每个业务数据独立一张表,将n种业务指标分到不同的数据库存储

但是对于一个业务,指标数据还是非常大,因此在同一台机器上业务表再按月拆分为不同的数据表
但是这样的问题是一台机器的数据量会越来越大,除非再水平按照时间分库,但其实按时间分库作用不大,因为历史的数据基本很少查,所以把所有时间的数据放在一台机器上,只做分表处理,数据多了可以转移到历史库备份。
2。另外界面允许用户按照各个维度组合钻取查询,当用户查询比较细的数据时,记录比较多,不排序还很快,一排序就不行,难道界面不给用户排序功能。这个排序还很头疼,用户可以按照任意字段去排序包括数值字段

已有(2)人评论

跳转到指定楼层
nettman 发表于 2014-11-7 17:43:01
有的话不太合适,有的说已经在用了

这里只是给楼主提供些资料
赞成:

一、HBase-Lattice
HBase-Lattice是一个尝试提供基于HBase的BI OLAP-ISH的解决方案,主要目标是查询时的实时SLAs,查询事实信息的低延迟(通过并行MapReduce的增量编译器来实现),强调时间序列的数据。

和OLAP的一样,它有事实,度量,维度和维度层次的概念。
数据查询支持:1.声明式查询API 2.简单的select-like查询语言。


反对

二、有的说不合适

HBase适合做BI分析的数据源吗?


回复

使用道具 举报

johnson_hong 发表于 2014-11-7 18:13:35
nettman 发表于 2014-11-7 17:43
有的话不太合适,有的说已经在用了

这里只是给楼主提供些资料

多谢,有空研究一下。

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条