分享 Hive drop卡住不动,该如何解决
nettman 2021-8-9 13:59
可以通过: show locks 表名 extended 查看有没锁表 强制解锁: unlock 还是unlocks table 表名 也可以kill任务
624 次阅读|0 个评论
分享 Flink 读取hbase 慢该如何解决
nettman 2021-7-5 22:56
Flink 读取hbase 由于hbase只有32分区(buckload之后自动分区)所以flink有32个算子读取数据 读取数据比较慢 实际上只有两个数据节点在计算(有四个计算节点 30 * 4 slots) 有什么方案可以加快读取hbase数据 可以打印些日志,看每个slot消费的是谁的分区
675 次阅读|0 个评论
分享 CDH修改startdate,可以一直免费使用
nettman 2021-3-18 19:51
CDH修改startdate,可以一直免费使用
CDH的使用日期,可以通过CM_VERSION表来进行修改
653 次阅读|0 个评论
分享 k8s搭建大数据平台资源汇总
nettman 2020-7-8 10:30
k8s搭建大数据平台资源汇总
有些公司向通过k8s搭建大数据集群,这里汇总下相关资料 https://blog.csdn.net/karamos/article/details/80127564 https://cubepaas.com/2020/02/22/%E5%A4%A7%E6%95%B0%E6%8D%AE%E5%AE%B9%E5%99%A8%E5%8C%96/ https://www.cnblogs.com/xiaodf/p/11611970.html 在K8S中集成大数据服务 ...
772 次阅读|0 个评论
分享 大数据学习记录
nettman 2020-4-15 16:47
大数据学习记录
Apache Kylin 解决了大数据多维度查询速度慢,多维查询数据返回不及时的问题 开源ETL调度工具Apache Dolphin Scheduler
731 次阅读|0 个评论
分享 Impala、Hive如何存储图片
nettman 2020-4-15 16:31
我认为你有几种方法可以解决这个问题,具体取决于你的具体要求。 1.使用Hive Hive允许您将二进制数据存储在Hive'数据库'中。 Hive与Impala类似,但通常较慢但功能更多。 您可以在表定义中使用DataType BINARY并使用LOAD DATA加载图像。 这样的东西可能有效(未经测试)。&nbs ...
1615 次阅读|0 个评论
分享 kerberos编程遇到问题总结
nettman 2019-7-2 08:04
想请问两个问题: 1、如何使用Java或者其他语言制作临时票据给其他客户端使用? 2、使用kinit后在机器上生成的/tmp/brb5cc_UID(这个就是缓存的票据)拿到后使用Java如何进行登陆认证? 1、通过获取缓存票据因为是C API接口,暂时未找到Java 获取的接口, 2、认证采用UserGroupInformation ugi = UserG ...
832 次阅读|0 个评论
分享 公司选择工作流必备比较:Airflow、Azkaban、Conductor、Oozie
nettman 2019-6-20 20:25
问题导读 1.本文列举了哪些工作流组件? 2.工作流组件有哪些优点和缺点? 3.这里最成熟的是哪个组件? Airflow Azkaban Conductor Oozie AWS Step函数 所有者 Apache (以前是Airbnb) LinkedIn Netflix公司 阿帕奇 亚马逊 社区 很活跃 有点活跃 活性 活性 N / A ...
1382 次阅读|0 个评论
分享 数据仓库T+1模型思想
nettman 2019-5-27 22:43
首先什么是T+1模型 可以简单理解为数据中的1,2,3,4 ...T, T + 1. 可以理解为,今天之前是一个 T单位的数据,新加一天就是(T + 1)单位的数据。 这里的T可以理解为每天。 然后基本仓库可以分为 1.ODS层: |-sdm每日的增量表数据 |-fdm部分需要保存全量数据的表。 注 ...
1804 次阅读|0 个评论
分享 Flink并行度,都是在哪里可以设置
nettman 2019-5-27 18:42
Flink并行度,都是在哪里可以设置
本节介绍如何在Flink中配置程序的并行执行。FLink程序由多个任务(转换/操作符、数据源和sinks)组成。任务被分成多个并行实例来执行,每个并行实例处理任务的输入数据的子集。任务的并行实例的数量称之为并行性。 如果要使用保存点,还应该考虑设置最大并行性(或最大并行性)。当从保存点还原时,可以改变特定运 ...
1589 次阅读|0 个评论
关闭

推荐上一条 /5 下一条