分享

我对apache kylin的理解以及大数据杂谈

zhuqitian 发表于 2017-5-13 10:25:30 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 5 12282
正在学习es,突然想到kylin,还是想发个帖子吐槽一下
作为国内的首个开源项目成为apache顶级项目的kylin,让我有点失望,首先想上官网找找资料看看,发现官网的资料简直。。。
干货太少了,都是在打着类似广告的东西,对外宣传TB级搜索亚秒毫秒的,连个使用文档都如此简略,想必也是打着开源的旗号
谋取些福利,或者以内部培训形式或者就直接与第三方合作开发一套收费版的工具兼容kylin,本来今天周六,想专程去趟上海参加
一个技术发布会的,稍微搜了下,那个发布会被吐槽的太厉害了,都是在走着商业模式不停地打广告。

感慨下hive,上周研究了下hive+es,做了几个简单测试,发现hive的数据导入es后再es中查询,聚合,过滤等功能效率非常高,千万级
的数据一些count,groupby操作都是秒级,我还只是用了10台机器做的测试。本想在hive中可以写hql语句去查询那张和es的映射表,
发现底层走的不是es,还是会生成默认的执行引擎mr或者tez。hive确实是最稳定的,就是效率慢了点,若是再多个执行引擎,能够以es
作为底层执行引擎,那就帅气了,甚至比spark都要快很多,虽然相关度分数等有些属性底层设计原因不是很精准,但对于大数据量而言
可以接受的,毕竟即使使用传统型的也会有些脏数据影响数据质量吗?

等大数据这阵风刮过了,就真是大浪淘沙了,是沙自沉,是水自流。等活下来的也都是佼佼者了,至于技术方面,我认为不可盲目西瓜芝麻
总有适合你的,找准自己的路,不然在当今浮躁的时代会被带沟里的!

已有(5)人评论

跳转到指定楼层
qcbb001 发表于 2017-5-13 22:25:30
国内开源气氛还不够。也是有些浮躁的。

回复

使用道具 举报

zhuqitian 发表于 2017-5-15 10:05:48
qcbb001 发表于 2017-5-13 22:25
国内开源气氛还不够。也是有些浮躁的。

发了堆牢骚没有被喷真是幸运
回复

使用道具 举报

zj220223 发表于 2017-6-6 16:52:18
kylin是一个好东西
但kylingence并没有提供一个好的开源软件
他们那个主页上面的一些doc都没有对应的版本号 或者是kylin很久之前的一些版本
kylin的apache社区问题质量参次不齐 他们偶尔回复 偶尔不回复
国内开源的kylin文章真的很少。。。很少。。。
回复

使用道具 举报

zhuqitian 发表于 2017-6-7 12:51:56
zj220223 发表于 2017-6-6 16:52
kylin是一个好东西
但kylingence并没有提供一个好的开源软件
他们那个主页上面的一些doc都没有对应的版本 ...

据说是已经有很多公司在用了,估计都是请kylingence去培训的,或者有合作关系
回复

使用道具 举报

hxinhua 发表于 2017-9-22 09:06:47
kylin前段时间正看
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条