about云开发

 找回密码
 立即注册

QQ登录

只需一步,快速开始

扫一扫,访问微社区

分享 oozie配置mysql:表结构详解
nettman 2019-3-11 17:59
oozie配置mysql所需表结构。Apache Oozie是用于Hadoop平台的一种工作流调度引擎。 链接: https://pan.baidu.com/s/10x6Ut4-vsF3saoSI5XoGTQ 提取码: dudm
54 次阅读|0 个评论
分享 恢复系统主题(win7X64)
jixianqiuxue 2019-3-11 11:01
恢复系统主题(win7X64).zip 解决VirtualBox在WIN7 X64使用出现的以下问题: Unable to load R3 module D:\Program Files\Oracle\VirtualBox/VBoxDD.dll (VBoxDD):GetLastError=1790 (VERR_UNRESOLVED_ERROR) 返回 代码: E_FAIL (0x80004005) 组件: Console 界面: IConsole {8ab7c520-2442-4b66-8d74-4ff1e195d2b6} 链 ...
46 次阅读|0 个评论
分享 Impala中最大连接数的设置
bioger_hit 2019-3-6 12:35
Impala中最大连接数的设置 impala中最大连接数 最近工作中有用到impala,有用到impala进行对数据库的操作,由于查询是页面在查询,所以有可能会有n个人在同时查询,那也就是数有可能同事有很多个客户端在请求impala连接,当请求数量达到64个的时候就卡住了,通过测试发现,impala默认的请求数(也就是连接数)限制在64个 ...
58 次阅读|0 个评论
分享 Hadoop vs Spark vs Flink
pig2 2019-2-22 17:37
那么现在让我们开始Hadoop与Spark vs Flink之间功能明智的比较之旅: 1. Hadoop vs Spark vs Flink - 数据处理 Hadoop:Apache Hadoop专为批处理而构建。它需要输入中的大数据集,同时处理它并产生结果。批处理在处理大量数据时非常有效。由于数据的大小和系统的计算能力,输出会产生延迟。 Spark:Apache S ...
101 次阅读|0 个评论 热度 1
分享 处理hive写入速度大于elasticsearch接收速度(含Elasticsearch写入性能优化及hive优化 ...
Aningorg 2019-2-22 15:51
使用hive往elasticsearch的映射外部表中插入数据, 报错: Caused by: org.elasticsearch.hadoop.EsHadoopException: Could not write all entries (maybe ES was overloaded?). Bailing out... 分析: ES涉及到该部分源码如下: public void flush() {   ...
83 次阅读|0 个评论
分享 HiveHBaseTableOutputFormat cannot be cast to org.apache.hadoop.hive.ql.io.HiveOu
Aningorg 2019-2-20 10:00
问题: 在CDH集群中用sql语句往hive中hbase的映射表中插入数据时报错如下: Causedby:java.lang.ClassCastException:org.apache.hadoop.hive.hbase.HiveHBaseTableOutputFormatcannotbecasttoorg.apache.hadoop.hive.ql.io.HiveOutputFormat atorg ...
78 次阅读|0 个评论
分享 Spark task完成,却一直不结束原因分析
hyj 2019-2-15 17:50
经常看到一些老铁问这么个一个问题。 明明我的task已经完成了,为什么作业就是不结束那? 遇到这个问题,如果没有经验,那么最有效的办法就是去跟踪日志。可是很多老铁可能觉得跟踪日志比较麻烦,然后这个问题就根本无法解决了。 这里简单总结下。 其中一个原因可能是Spark与Hadoop相结合,在保存saveAsHadoop ...
95 次阅读|0 个评论
分享 Flink watermark影响的参数
pig2 2019-2-12 10:28
设置watermark后,还可以设置maxOutOfOrder 如本来应该10:40计算的窗口,设置maxOutOfOrder=10,那么会在10:50计算。
120 次阅读|0 个评论
分享 Flink防止丢失数据机制
pig2 2019-2-12 09:27
allowLateness()能接受最大的延迟时间,延缓窗口内置状态清理时间 sideOutputTag提供了延迟数据获取的一种方式。通过另外的通道获取
125 次阅读|0 个评论
分享 Flink三种window总结
pig2 2019-2-12 08:42
滚动窗口:没有重叠 滑动窗口:有重叠 session窗口:在没有数据的时候回形成window。
124 次阅读|0 个评论
关闭

推荐上一条 /3 下一条

QQ|小黑屋|about云开发-学问论坛|社区 ( 京ICP备12023829号

GMT+8, 2019-3-24 19:42 , Processed in 0.249097 second(s), 17 queries , Gzip On.

Powered by Discuz! X3.2 Licensed

返回顶部