图文精华

hadoop-2.6.0+zookeeper-3.4.6+hbase-1.0.0+hive-1.1.0完全分布 ...

About云-梭伦科技 › 日志

日志

最新发表的日志| 推荐阅读的日志 | Nutch | Docker | K8s | Flink | Hyperledgar | 比特币 | 以太坊 | 机器学习 | 图像处理 | NLP | 神经网络 | 其它 | ElasticSearch | 大数据 | Spark | Sqoop | Lucene | Solr | Nosql | Oozie | Cloudera系列 | ZooKeeper | Flume | Hadoop | Kafka | Hive | Hbase | Mapreduce | Storm | 人工智能 | 区块链 | openstack | 物联网 | 容器

分享 Flink window的本质: pig2 2019-2-10 19:56; Flink window是将无限数据切割为有限块数据。方便处理。 window又分为很多种。; 746 次阅读|0 个评论

分享 Flink监控：Watermark: pig2 2019-2-8 11:19; Flink监控指标：waterwark该设置多少，很多人有这个疑问，可以通过参数 numLateRecordsDrop 应对watermark调整指标来调整指标。另外一个指标 currentLowWatermark 监控水位线变化; 830 次阅读|0 个评论

分享 Flink checkpoint和savepoint二者的区别: pig2 2019-2-7 20:22; checkpoint和savepoint二者的区别：本质上来说是相似的，用途却是不同的。 checkpoint用来故障恢复 savepoint则是非故障情况下，用来恢复运行。比如集群迁移，升级等; 907 次阅读|0 个评论

分享 Flink checkpoint过程: pig2 2019-2-7 20:12; 在checkpoint触发时刻，Job Manager会往所有Source的流中放入一个barrier（图中三角形）。barrier包含当前checkpoint的ID flink-checkpoint-02 当barrier经过一个subtask时，即表示当前这个subtask处于checkpoint触发的“时刻”，他就会立即将barrier法往下游，并执行checkpoint方法 ...; 662 次阅读|0 个评论

分享 Flink operator状态本质是数据结构: pig2 2019-2-7 17:08; Flink operator状态本质是数据结构：状态：比如我们认为你的状态如何，其实跟这个状态是差不多的。状态好，我们就会非常高兴。这就是状态，Flink的状态是指某个具体的内容的详细记录，而不止是记录结果。 barrier本质是一条记录; 682 次阅读|0 个评论

分享 Flink1.7独有的时态表详解: pig2 2019-1-24 16:56; 问题导读 1.什么是Flink时态表？ 2.时态表有什么特点？ 3.如何创建时态表？ 4.时态表产生的原因是什么？上一篇彻底明白Flink系统学习27：【Flink1.7】连续查询连接（时态表等） http://www.aboutyun.com/forum.php?mod=viewthreadtid=26650 时态表表示改变的历史记录表上的（参数化）视图的概念， ...; 821 次阅读|0 个评论

分享 Flink执行流程分解: pig2 2019-1-11 21:29; Flink 的程序内在是并行和分布式的，数据流可以被分区成 stream partitions，operators 被划分为operator subtasks; 这些 subtasks 在不同的机器或容器中分不同的线程独立运行；operator subtasks 的数量在具体的 operator 就是并行计算数，程序不同的 operator 阶段可能有不同的并行数；如下图所示，source operator 的并 ...; 689 次阅读|0 个评论

分享 flink sql Java代码例子: 阿飞 2018-11-25 12:08; package flink.demo; import com.alibaba.fastjson.JSONObject; import com.enniu.cloud.services.riskbrain.flink.job.EnniuKafkaSource; import java.util.ArrayList; import java.util.HashMap; import java.util.List; import java.util.Map; import java.util.Properties; import java.util.Set; im ...; 1151 次阅读|0 个评论

分享 Flink内存管理: pig2 2018-11-22 18:21; 一、基于JVM的大数据生态圈 1.bigdata on jvm 1.现在大多数开源大数据处理框架都是基于jvm的，像 Apache Hadoop,Apache Spark,Apache Hbase, Apache Kafka,Apache Flink等。 2.JVM上的程序一方面享受着它带来的好处，也要承受着JVM带来的弊端。 2.jvm的弊端 1. ...; 2576 次阅读|1 个评论热度 1

分享 Apache Flink如何管理Kafka消费者offsets: admin 2018-10-17 18:04; 问题导读 1.Flink与kafka一起如何做Checkpointing ？ 2.发生故障，Flink如何恢复的？ 3.Kafka consumer offsets存储在什么位置？关注最新经典文章，欢迎关注公众号此篇出现一个词barriers ，需要对flink有一定的了解可参考 Flink实时性、容错机制、窗口等介绍 http://www.aboutyun.com/foru ...; 4056 次阅读|0 个评论

12 / 2 页

推荐 /2

关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴

Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

简书 / 京ICP备2020039040号简书网举报电话：021-34700000

意见
反馈