分享 彻底打通实时数据仓库该如何实现及多种技术架构解析
admin 2020-12-28 08:20
问题导读 1.实时数据仓库有哪些特点? 2. 公司构建实时数据仓库有哪些好处? 3.如何构建实时数据仓库? 4.实时数据仓库本文解析了哪些架构? 越来越多的实时数据需求,需要更多的实时数据来做业务决策,例如需要依据销售情况做一个资源位的调整;同时有些活动也需要实时数据来增强与用户的互动。如果 ...
827 次阅读|0 个评论
分享 Flink写Redis Demo
pig2 2020-8-26 15:13
1 pom文件 ?xml version="1.0" encoding="UTF-8"? project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http: ...
769 次阅读|0 个评论
分享 Flink因为jdk版本造成的错误
s060403072 2019-7-4 09:23
caused by java.lang.illegalstateexception:buffer pool is destoryed 我们从网上下载源码,但是不能运行,出现上面错误,是因为jdk的小版本造成的。 比如你使用jdk1.8某个版本,最好尝试另外小版本。 以上内容总结之About云微信群:喜欢讨论技术可以加微信w3aboutyun,拉入技术讨论群 ...
1163 次阅读|0 个评论
分享 零基础入门Flink CEP
admin 2019-6-24 19:33
问题导读 1.什么是CEP? 2.CEP解决什么问题? 3.CEP如何实现? Flink CEP是比较难以理解的,那么它是什么?它解决了什么问题?该如何使用? Flink CEP是其实一个Flink库,跟机器学习库是一样的。它是为了更快,更及时的发现一些我们所关心的事情,而不是需要等待几天或则几个月相当长的时间,才发 ...
1118 次阅读|0 个评论
分享 Flink并行度,都是在哪里可以设置
nettman 2019-5-27 18:42
Flink并行度,都是在哪里可以设置
本节介绍如何在Flink中配置程序的并行执行。FLink程序由多个任务(转换/操作符、数据源和sinks)组成。任务被分成多个并行实例来执行,每个并行实例处理任务的输入数据的子集。任务的并行实例的数量称之为并行性。 如果要使用保存点,还应该考虑设置最大并行性(或最大并行性)。当从保存点还原时,可以改变特定运 ...
1834 次阅读|0 个评论
分享 IntelliJ IDEA导入项目手册及问题总结【Flink代码为例】
pig2 2019-5-21 17:04
问题导读 1.IDEA社区版如何import项目? 2.项目导入中,该如何选择避免找不到相关包? 3.导入的过程中,有哪些需要注意的? 导入准备: 源码: FlinkExample-master.zip (223.69 KB, 下载次数: 0, 售价: 2 云币) IDEA: 破解版无需注册码,直接安装即可 ideaIC-2 ...
1916 次阅读|0 个评论
分享 Hadoop vs Spark vs Flink
pig2 2019-2-22 17:37
那么现在让我们开始Hadoop与Spark vs Flink之间功能明智的比较之旅: 1. Hadoop vs Spark vs Flink - 数据处理 Hadoop:Apache Hadoop专为批处理而构建。它需要输入中的大数据集,同时处理它并产生结果。批处理在处理大量数据时非常有效。由于数据的大小和系统的计算能力,输出会产生延迟。 Spark:Apache S ...
1308 次阅读|0 个评论 热度 1
分享 Flink watermark影响的参数
pig2 2019-2-12 10:28
设置watermark后,还可以设置maxOutOfOrder 如本来应该10:40计算的窗口,设置maxOutOfOrder=10,那么会在10:50计算。
1133 次阅读|0 个评论
分享 Flink防止丢失数据机制
pig2 2019-2-12 09:27
allowLateness()能接受最大的延迟时间,延缓窗口内置状态清理时间 sideOutputTag提供了延迟数据获取的一种方式。通过另外的通道获取
2250 次阅读|0 个评论
分享 Flink三种window总结
pig2 2019-2-12 08:42
滚动窗口:没有重叠 滑动窗口:有重叠 session窗口:在没有数据的时候回形成window。
1043 次阅读|0 个评论
12下一页
关闭

推荐上一条 /2 下一条