日志
- 置顶 ·分享
spark开发基础：一文能帮助大家阅读比较常见的Scala程序
-
2016-11-6 19:52
-
问题导读 1.Scala中有哪些常见符号？ 2.本文讲了哪些符号？ 3.你对符号的理解是什么？ 4.-,-,=,Int=,_ 它们含义是什么？用在什么地方？ 当我们学习spark的时候，我们知道spark是使用Scala语言开发的，由于语言是相通的，所以对于传统程序员【Java，.net，c等】，我们能看懂Scala程序是 ...
-
1719 次阅读|0 个评论
- 置顶 ·分享
hadoop、hbase、hive、zookeeper版本对应关系
-
2014-4-9 21:58
-
最新版本： hadoop、hbase、hive、zookeeper版本对应关系续 hadoop与HBase版本对应关系: Hbase Hadoop 0.92.0 1.0.0 0.92.1 1.0.0 0.92.2 1.0.3 0.94.0 1.0.2 0.94.1 1.0.3 0.94.2 1.0.3 0 ...
-
25805 次阅读|7 个评论
热度 17
- 分享
Flink监控：Watermark
-
2019-2-8 11:19
-
Flink监控指标：waterwark该设置多少，很多人有这个疑问，可以通过参数 numLateRecordsDrop 应对watermark调整指标 来调整指标。 另外 一个指标 currentLowWatermark 监控水位线变化
-
829 次阅读|0 个评论
- 分享
Flink checkpoint和savepoint二者的区别
-
2019-2-7 20:22
-
checkpoint和savepoint二者的区别： 本质上来说是相似的，用途却是不同的。 checkpoint用来故障恢复 savepoint则是非故障情况下，用来恢复运行。比如集群迁移，升级等
-
906 次阅读|0 个评论
- 分享
Flink checkpoint过程
-
2019-2-7 20:12
-
在checkpoint触发时刻，Job Manager会往所有Source的流中放入一个barrier（图中三角形）。barrier包含当前checkpoint的ID flink-checkpoint-02 当barrier经过一个subtask时，即表示当前这个subtask处于checkpoint触发的“时刻”，他就会立即将barrier法往下游，并执行checkpoint方法 ...
-
662 次阅读|0 个评论
- 分享
Flink operator状态本质是数据结构
-
2019-2-7 17:08
-
Flink operator状态本质是数据结构： 状态：比如我们认为你的状态如何，其实跟这个状态是差不多的。状态好，我们就会非常高兴。这就是状态，Flink的状态是指某个具体的内容的详细记录，而不止是记录结果。 barrier本质是一条记录
-
679 次阅读|0 个评论
- 分享
Flink1.7独有的时态表详解
-
2019-1-24 16:56
-
问题导读 1.什么是Flink时态表？ 2.时态表有什么特点？ 3.如何创建时态表？ 4.时态表产生的原因是什么？ 上一篇彻底明白Flink系统学习27：【Flink1.7】连续查询连接（时态表等） http://www.aboutyun.com/forum.php?mod=viewthreadtid=26650 时态表表示改变的历史记录表上的（参数化）视图的概念， ...
-
820 次阅读|0 个评论
- 分享
Flink执行流程分解
-
2019-1-11 21:29
-
Flink 的程序内在是并行和分布式的，数据流可以被分区成 stream partitions，operators 被划分为operator subtasks; 这些 subtasks 在不同的机器或容器中分不同的线程独立运行；operator subtasks 的数量在具体的 operator 就是并行计算数，程序不同的 operator 阶段可能有不同的并行数；如下图所示，source operator 的并 ...
-
687 次阅读|0 个评论
- 分享
Flink内存管理
-
2018-11-22 18:21
-
一、基于JVM的大数据生态圈 1.bigdata on jvm 1.现在大多数开源大数据处理框架都是基于jvm的，像 Apache Hadoop,Apache Spark,Apache Hbase, Apache Kafka,Apache Flink等。 2.JVM上的程序一方面享受着它带来的好处，也要承受着JVM带来的弊端。 2.jvm的弊端 1. ...
-
2576 次阅读|1 个评论
热度 1
- 分享
Flink自定义一个简单source及mysqlsource实例
-
2018-11-21 17:50
-
1.一个简单的source import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.java.tuple.Tuple; import org.apache.flink.api.java.tuple.Tuple2; import org.apache.flink.streaming.api.datastream.DataStreamSource; import org.apache.flink.streaming.api.datastream.Sin ...
-
1666 次阅读|0 个评论
- 分享
机器学习中偏差---方差之间的权衡吗？
-
2018-9-13 16:39
-
我认为对偏差 - 方差之间的权衡判读对学习机器学习是非常重要的。那么为什么这么说呢？因为这个现象的背后是所有参数，性能和几乎所有机器学习模型的深层原因。如果你能很深刻的理解这个，我保证你能很好的理解机器学习的每一个模型。 所以，我们就不浪费时间在无聊的介绍中，直接深入挖掘吧。理论讲解可能有一点枯 ...
-
1435 次阅读|0 个评论
- 分享
Spark详解--场景、概念、组件、实践、案例
-
2018-7-24 07:22
-
问题导读 1.spark有哪些使用场景？ 2.spark有包含哪些组件？ 3.spark在哪些厂商已经应用？ 4.spark如何实现地震检测？ Apache Spark是一个用于实时处理的开源集群计算框架。 它是Apache软件基金会中最成功的项目。 Spark已成为大数据处理市场的领导者。 今天，Spark被亚马逊，eBay和雅虎等主要厂 ...
-
1954 次阅读|0 个评论
- 新手帮助
- 新手帮助：注册遇到问题，领取资源，加入铁粉群，不会使用搜索，如何获取积分等
查看 »
/2 
