分享 Spark sql写法的重要性

s060403072 2019-6-28 21:47

下面写法： select * from where set=0 limit 500 union select * from t b where b.sex=1 limit 5000 产生错误： mismatched input union expection eof 改成： (select * from where set=0 limit 500) union (select * from t b where b.sex=1 limit 5000) 即可解决

777 次阅读|0 个评论

分享 phoenix集成hbase后，插入hbase数据，为何查询不到

admin 2019-6-28 19:52

问题导读 1.hbase插入数据后，为何phoenix不能识别？ 2. phoenix索引是如何组成的？ 3.如何通过API实现？ 问题描述： 用户访问的数据接口直接走Phoenix，Phoenix的表是映射hbase产生，Phoenix的表会建很多索引，这时候问题就出现了，正常通过接口直接写数据进Phoenix表，相应的索引表也是会更新 ...

1400 次阅读|0 个评论

分享 零基础入门Flink CEP

admin 2019-6-24 19:33

问题导读 1.什么是CEP？ 2.CEP解决什么问题？ 3.CEP如何实现？ Flink CEP是比较难以理解的，那么它是什么？它解决了什么问题？该如何使用？ Flink CEP是其实一个Flink库，跟机器学习库是一样的。它是为了更快，更及时的发现一些我们所关心的事情，而不是需要等待几天或则几个月相当长的时间，才发 ...

1117 次阅读|0 个评论

分享 公司选择工作流必备比较：Airflow、Azkaban、Conductor、Oozie

nettman 2019-6-20 20:25

问题导读 1.本文列举了哪些工作流组件？ 2.工作流组件有哪些优点和缺点？ 3.这里最成熟的是哪个组件？ Airflow Azkaban Conductor Oozie AWS Step函数 所有者 Apache （以前是Airbnb） LinkedIn Netflix公司 阿帕奇 亚马逊 社区 很活跃 有点活跃 活性 活性 N / A ...

1676 次阅读|0 个评论

分享 Spark streaming如何停止不丢失数据

admin 2019-6-19 15:18

如何优雅的停止Spark streaming，由于Spark streaming一直是运转的，但是有时候我们是需要停止Spark streaming，但是如果强行停止是可能丢失数据的，所以为了保证数据不丢失，停止的时候需要注意，不能使用kill -9,这样会丢数据的。 停止的方法很多种，这里给大家介绍下： 第一种： spark.streaming.stopGracefully ...

1206 次阅读|0 个评论

分享 大数据开发架构

bioger_hit 2019-6-5 09:55

我们在学习大数据的时候，经常想全部了解大数据的内容，网上发现一个不错的架构，给大家分享下

804 次阅读|0 个评论

分享 实际生产面试案例分享

阿飞 2019-5-29 16:13

这里分享几个实际生产中，大家遇到的问题，以及解决办法。对于正在面试的成员，你可以思考，假如你遇到这样的问题，你该如何处理。如果你已经工作了，由于我们每个人所接触的场景都是有限的。对于下面案例也可以扩充下大家的知识面。 分享案例1： 公司有224台机器，内存单个384G，48core。在集群的使 ...

657 次阅读|0 个评论

本页有 3 篇日志因作者的隐私设置或未通过审核而隐藏