搜索
搜 索
文章
帖子
用户
图文精华
hadoop-2.6.0+zookeeper-3.4.6+hbase-1.0.0+hive-1.1.0完全分布 ...
xiazy
2015-6-11
首页
Portal
专题
BBS
面试
站内搜索
更多
登录
注册
用户组:游客
主题
帖子
云币
我的帖子
我的收藏
我的好友
我的勋章
设置
退出
退出
导读
淘贴
博客
群组
社区VIP
APP下载
今日排行
本周排行
本周热帖
本月排行
本月热帖
会员排行
About云开发
›
日志
发布
日志
上传
相册
添加
分享
记录
日志
好友的日志
我的日志
随便看看
发表新日志
最新发表的日志
|
推荐阅读的日志
|
Lucene
|
Docker
|
大数据
|
ElasticSearch
|
其它
|
神经网络
|
NLP
|
图像处理
|
机器学习
|
以太坊
|
比特币
|
Hyperledgar
|
Flink
|
K8s
|
Spark
|
Kafka
|
Nutch
|
Solr
|
Nosql
|
Oozie
|
Cloudera系列
|
ZooKeeper
|
Flume
|
Hadoop
|
Sqoop
|
Hive
|
Hbase
|
Mapreduce
|
Storm
|
人工智能
|
区块链
|
openstack
|
物联网
|
容器
分享
Clickhouse bug DB::Exception: PeekableReadBuffer: Memory limit exceed
pig2
2021-3-30 17:13
Caused by: java.lang.Throwable: Code: 241, e.displayText() = DB::Exception: PeekableReadBuffer: Memory limit exceed (version 20.11.4.13 (official build)) 这是clickhouse的一个bug 地址:https://github.com/ClickHouse/ClickHouse/commit/6325b15a63335e2efd7de1ae92d2907493a07a9c 修复版本:v21. ...
41 次阅读
|
0
个评论
分享
面试必备Hive stage划分
hyj
2021-3-25 07:31
Hive stage划分见下图: 更多细节可参考 https://blog.csdn.net/weixin_43878293/article/details/102648655 https://blog.csdn.net/jiayuanv_127/article/details/50936964
54 次阅读
|
0
个评论
分享
CDH修改startdate,可以一直免费使用
nettman
2021-3-18 19:51
CDH的使用日期,可以通过CM_VERSION表来进行修改
65 次阅读
|
0
个评论
分享
Azkaban安装
hyj
2021-2-2 09:52
Azkaban安装 1 Azkaban介绍 Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种kv文件格式来建立任务之间的关系,并提供一个易于使用的web用户界面维护和跟踪你的工作流。它有如下功能特点: Web用户界面 方便上传工作流 方便设 ...
137 次阅读
|
0
个评论
分享
解决开发中由于group by造成数据倾斜解决办法
hyj
2021-1-19 18:42
如果设置hive.map.aggr为true,hive.groupby.skewindata为true,执行流程如下: 会生成两个job来执行group by,第一个job中,各个map是平均读取分片的,在map阶段对这个分片中的数据根据group by 的key进行局部聚合操作,这里就相当于Combiner操作。 在第一次的job中,map输出的结果随机分区,这样就可以平均分 ...
217 次阅读
|
0
个评论
分享
分布式批量任务调度、自动化运维管理监控平台Taskctl-Web免费应用版
那不勒斯得孩子
2021-1-13 14:49
前言 随着企业拥抱数字化程度的提高,数据是企业的发展关键。数据的需求来源于业务也服务于业务,数据的挖掘、探索、分析、个性化推荐、报表等等都依托于数据的输送、转换和写入。数据的调度就是作业的调度。批量作业调度是金融行业信息后台最为重要的技术形态。 金融行业每天会进行交易相关的结算、清算、结息、对账等 ...
148 次阅读
|
0
个评论
分享
Kerberos身份验证流程
阿飞
2021-1-11 16:48
介绍: Kerberos 是一种由 MIT(麻省理工大学)提出的一种网络身份验证协议。它旨在通过使用密钥加密技术为客户端/服务器应用程序提供强身份验证。 在 Kerberos 认证中,最主要的问题是如何证明「你是你」的问题,如当一个 Client 去访问 Server 服务器上的某服务时,Server 如何判断 Client 是否有权限来访问 ...
202 次阅读
|
0
个评论
分享
Hive优化案例
阿飞
2021-1-6 14:41
1.Hadoop计算框架的特点 数据量大不是问题,数据倾斜是个问题。 jobs数比较多的作业效率相对比较低,比如即使有几百万的表,如果多次关联多次汇总,产生十几个jobs,耗时很长。原因是map reduce作业初始化的时间是比较长的。 sum,count,max,min等UDAF,不怕数据倾斜问题,hadoop在map端的汇总并优化,使数据倾斜 ...
240 次阅读
|
0
个评论
分享
flink教程-flink 1.11 中的CDC (Change Data Capture)简介
pig2
2020-12-26 19:05
CDC简介 CDC,Change Data Capture,变更数据获取的简称,使用CDC我们可以从数据库中获取已提交的更改并将这些更改发送到下游,供下游使用。这些变更可以包括INSERT,DELETE,UPDATE等, 用户可以在以下的场景下使用CDC: 使用flink sql进行数据同步,可以将数据从一个数据同步到其他的地方,比如mysql、elasticsearch ...
218 次阅读
|
0
个评论
分享
Apache NIFI详解入门
pig2
2020-12-26 14:50
我将在本文中介绍: 什么是ApacheNIFI,应在什么情况下使用它,理解在NIFI中的关键概念。 我不会介绍的内容: -NIFI集群的安装,部署,监视,安全性和管理。 什么是ApacheNIFI? 在ApacheNIFI项目的官网上,可以找到以下定义: 一个易于使用,功能强大且可靠处理和分发数据的系统。 接下来我们分析一下关键字。 N ...
222 次阅读
|
0
个评论
1
2
3
4
5
6
7
8
9
10
... 11
/ 11 页
下一页
关闭
推荐
/5
About云 VIP会员套餐介绍
about云VIP:帮助大家提升技能、能力、帮助找工作。 里面包含三个套餐,详细点击链接了解
查看 »
会员注册过程中,收不到邮件【查看】
会员注册过程中,收不到邮件【查看】
查看 »
N本书可以置换N*100本书书籍活动
各位About云会员,为了方便各位老铁搜集各种资料,包括大数据、人工智能、微服务、区块链等方面的前沿资料,这里About云耗费一年的时间整理了这方面的资料。如果这里面有你感兴趣的资料,如果你也有这方面的资料【About云非重复资料】,欢迎和我们置换。
查看 »
领取100本书+1T资源
About云长期积累书籍,扫码通过后,赠书给需要的小伙伴
查看 »
新手帮助
新手帮助:注册遇到问题,领取资源,加入铁粉群,不会使用搜索,如何获取积分等
查看 »
意见
反馈