图文精华

hadoop-2.6.0+zookeeper-3.4.6+hbase-1.0.0+hive-1.1.0完全分布 ...

About云-梭伦科技 › 日志

日志

分享 Hive drop卡住不动，该如何解决: nettman 2021-8-9 13:59; 可以通过： show locks 表名 extended 查看有没锁表强制解锁： unlock 还是unlocks table 表名也可以kill任务; 1342 次阅读|0 个评论

分享 Flink 读取hbase 慢该如何解决: nettman 2021-7-5 22:56; Flink 读取hbase 由于hbase只有32分区（buckload之后自动分区）所以flink有32个算子读取数据读取数据比较慢实际上只有两个数据节点在计算（有四个计算节点 30 * 4 slots）有什么方案可以加快读取hbase数据可以打印些日志，看每个slot消费的是谁的分区; 1101 次阅读|0 个评论

分享 CDH修改startdate，可以一直免费使用: nettman 2021-3-18 19:51; CDH的使用日期,可以通过CM_VERSION表来进行修改; 934 次阅读|0 个评论

分享 k8s搭建大数据平台资源汇总: nettman 2020-7-8 10:30; 有些公司向通过k8s搭建大数据集群，这里汇总下相关资料 https://blog.csdn.net/karamos/article/details/80127564 https://cubepaas.com/2020/02/22/%E5%A4%A7%E6%95%B0%E6%8D%AE%E5%AE%B9%E5%99%A8%E5%8C%96/ https://www.cnblogs.com/xiaodf/p/11611970.html 在K8S中集成大数据服务 ...; 1270 次阅读|0 个评论

分享大数据学习记录: nettman 2020-4-15 16:47; Apache Kylin 解决了大数据多维度查询速度慢，多维查询数据返回不及时的问题开源ETL调度工具Apache Dolphin Scheduler; 1083 次阅读|0 个评论

分享 Impala、Hive如何存储图片: nettman 2020-4-15 16:31; 我认为你有几种方法可以解决这个问题，具体取决于你的具体要求。 1.使用Hive Hive允许您将二进制数据存储在Hive'数据库'中。 Hive与Impala类似，但通常较慢但功能更多。您可以在表定义中使用DataType BINARY并使用LOAD DATA加载图像。这样的东西可能有效（未经测试）。&nbs ...; 2571 次阅读|0 个评论

分享 kerberos编程遇到问题总结: nettman 2019-7-2 08:04; 想请问两个问题： 1、如何使用Java或者其他语言制作临时票据给其他客户端使用？ 2、使用kinit后在机器上生成的/tmp/brb5cc_UID（这个就是缓存的票据）拿到后使用Java如何进行登陆认证？ 1、通过获取缓存票据因为是C API接口，暂时未找到Java 获取的接口， 2、认证采用UserGroupInformation ugi = UserG ...; 1096 次阅读|0 个评论

分享公司选择工作流必备比较：Airflow、Azkaban、Conductor、Oozie: nettman 2019-6-20 20:25; 问题导读 1.本文列举了哪些工作流组件？ 2.工作流组件有哪些优点和缺点？ 3.这里最成熟的是哪个组件？ Airflow Azkaban Conductor Oozie AWS Step函数所有者 Apache （以前是Airbnb） LinkedIn Netflix公司阿帕奇亚马逊社区很活跃有点活跃活性活性 N / A ...; 1677 次阅读|0 个评论

分享数据仓库T+1模型思想: nettman 2019-5-27 22:43; 首先什么是T+1模型可以简单理解为数据中的1,2,3,4 ...T, T + 1. 可以理解为，今天之前是一个 T单位的数据,新加一天就是（T + 1）单位的数据。这里的T可以理解为每天。然后基本仓库可以分为 1.ODS层： |-sdm每日的增量表数据 |-fdm部分需要保存全量数据的表。注 ...; 2262 次阅读|0 个评论

分享 Flink并行度，都是在哪里可以设置: nettman 2019-5-27 18:42; 本节介绍如何在Flink中配置程序的并行执行。FLink程序由多个任务（转换/操作符、数据源和sinks）组成。任务被分成多个并行实例来执行，每个并行实例处理任务的输入数据的子集。任务的并行实例的数量称之为并行性。如果要使用保存点，还应该考虑设置最大并行性（或最大并行性）。当从保存点还原时，可以改变特定运 ...; 1834 次阅读|0 个评论

12 3 4 5 6 7 / 7 页下一页

推荐 /2

关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴

Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

简书 / 京ICP备2020039040号简书网举报电话：021-34700000

意见
反馈