立即注册 登录
About云开发 返回首页

nettman的个人空间 https://www.aboutyun.com/?21 [收藏] [复制] [分享] [RSS]

日志

分享 k8s搭建大数据平台资源汇总
2020-7-8 10:30
k8s搭建大数据平台资源汇总
有些公司向通过k8s搭建大数据集群,这里汇总下相关资料 https://blog.csdn.net/karamos/article/details/80127564 https://cubepaas.com/2020/02/22/%E5%A4%A7%E6%95%B0%E6%8D%AE%E5%AE%B9%E5%99%A8%E5%8C%96/ https://www.cnblogs.com/xiaodf/p/11611970.html 在K8S中集成大数据服务 ...
296 次阅读|0 个评论
分享 大数据学习记录
2020-4-15 16:47
大数据学习记录
Apache Kylin 解决了大数据多维度查询速度慢,多维查询数据返回不及时的问题 开源ETL调度工具Apache Dolphin Scheduler
345 次阅读|0 个评论
分享 Impala、Hive如何存储图片
2020-4-15 16:31
我认为你有几种方法可以解决这个问题,具体取决于你的具体要求。 1.使用Hive Hive允许您将二进制数据存储在Hive'数据库'中。 Hive与Impala类似,但通常较慢但功能更多。 您可以在表定义中使用DataType BINARY并使用LOAD DATA加载图像。 这样的东西可能有效(未经测试)。&nbs ...
529 次阅读|0 个评论
分享 kerberos编程遇到问题总结
2019-7-2 08:04
想请问两个问题: 1、如何使用Java或者其他语言制作临时票据给其他客户端使用? 2、使用kinit后在机器上生成的/tmp/brb5cc_UID(这个就是缓存的票据)拿到后使用Java如何进行登陆认证? 1、通过获取缓存票据因为是C API接口,暂时未找到Java 获取的接口, 2、认证采用UserGroupInformation ugi = UserG ...
501 次阅读|0 个评论
分享 公司选择工作流必备比较:Airflow、Azkaban、Conductor、Oozie
2019-6-20 20:25
问题导读 1.本文列举了哪些工作流组件? 2.工作流组件有哪些优点和缺点? 3.这里最成熟的是哪个组件? Airflow Azkaban Conductor Oozie AWS Step函数 所有者 Apache (以前是Airbnb) LinkedIn Netflix公司 阿帕奇 亚马逊 社区 很活跃 有点活跃 活性 活性 N / A ...
887 次阅读|0 个评论
分享 数据仓库T+1模型思想
2019-5-27 22:43
首先什么是T+1模型 可以简单理解为数据中的1,2,3,4 ...T, T + 1. 可以理解为,今天之前是一个 T单位的数据,新加一天就是(T + 1)单位的数据。 这里的T可以理解为每天。 然后基本仓库可以分为 1.ODS层: |-sdm每日的增量表数据 |-fdm部分需要保存全量数据的表。 注 ...
886 次阅读|0 个评论
分享 Flink并行度,都是在哪里可以设置
2019-5-27 18:42
Flink并行度,都是在哪里可以设置
本节介绍如何在Flink中配置程序的并行执行。FLink程序由多个任务(转换/操作符、数据源和sinks)组成。任务被分成多个并行实例来执行,每个并行实例处理任务的输入数据的子集。任务的并行实例的数量称之为并行性。 如果要使用保存点,还应该考虑设置最大并行性(或最大并行性)。当从保存点还原时,可以改变特定运 ...
1124 次阅读|0 个评论
分享 Hbase如何将hfile二进制文件转换为文本txt格式
2019-5-14 19:56
我们知道hbase文件hfile直接是不能阅读的,我们如何转换为可以阅读的格式 通过命令 hbase org.apache.hadoop.hbase.io.hfile.HFile -f hdfsHfilepath -p -b -m -v hdfsHfilepath 写成你要查看的路径
581 次阅读|0 个评论
分享 mysql Your password does not satisfy the current policy requirements问题的解决办 ...
2019-5-3 11:39
mysql Your password does not satisfy the current policy requirements问题的解决办 ...
在搭cdh执行命令:/opt/cm-5.13.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hs201 -uroot -proot_pwd_123 --scm-host s201 scm scm scm,初始化cm的时候,一直报:java.sql.SQLException: Your password does not satisfy the current policy requirements这个错 通过mysql shell修改了policy ,可是依然 ...
1193 次阅读|0 个评论
分享 oozie配置mysql:表结构详解
2019-3-11 17:59
oozie配置mysql所需表结构。Apache Oozie是用于Hadoop平台的一种工作流调度引擎。 链接: https://pan.baidu.com/s/10x6Ut4-vsF3saoSI5XoGTQ 提取码: dudm
859 次阅读|0 个评论
关闭

推荐上一条 /5 下一条