搜索
搜 索
文章
帖子
用户
图文精华
hadoop-2.6.0+zookeeper-3.4.6+hbase-1.0.0+hive-1.1.0完全分布 ...
首页
Portal
专题
BBS
面试
办公|编程助手
更多
登录
注册
用户组:游客
主题
帖子
云币
我的帖子
我的收藏
我的好友
我的勋章
设置
退出
导读
淘贴
博客
群组
社区VIP
APP下载
今日排行
本周排行
本周热帖
本月排行
本月热帖
会员排行
About云-梭伦科技
›
日志
发布
日志
上传
相册
添加
分享
记录
日志
好友的日志
我的日志
随便看看
发表新日志
云技术
|
其他
|
开源资料
|
云技术基础
|
置顶
·
分享
spark开发基础:一文能帮助大家阅读比较常见的Scala程序
pig2
2016-11-6 19:52
问题导读 1.Scala中有哪些常见符号? 2.本文讲了哪些符号? 3.你对符号的理解是什么? 4.-,-,=,Int=,_ 它们含义是什么?用在什么地方? 当我们学习spark的时候,我们知道spark是使用Scala语言开发的,由于语言是相通的,所以对于传统程序员【Java,.net,c等】,我们能看懂Scala程序是 ...
1720 次阅读
|
0
个评论
置顶
·
分享
hadoop、hbase、hive、zookeeper版本对应关系
pig2
2014-4-9 21:58
最新版本: hadoop、hbase、hive、zookeeper版本对应关系续 hadoop与HBase版本对应关系: Hbase Hadoop 0.92.0 1.0.0 0.92.1 1.0.0 0.92.2 1.0.3 0.94.0 1.0.2 0.94.1 1.0.3 0.94.2 1.0.3 0 ...
25831 次阅读
|
7
个评论
热度
17
分享
Flink监控:Watermark
pig2
2019-2-8 11:19
Flink监控指标:waterwark该设置多少,很多人有这个疑问,可以通过参数 numLateRecordsDrop 应对watermark调整指标 来调整指标。 另外 一个指标 currentLowWatermark 监控水位线变化
831 次阅读
|
0
个评论
分享
Flink checkpoint和savepoint二者的区别
pig2
2019-2-7 20:22
checkpoint和savepoint二者的区别: 本质上来说是相似的,用途却是不同的。 checkpoint用来故障恢复 savepoint则是非故障情况下,用来恢复运行。比如集群迁移,升级等
907 次阅读
|
0
个评论
分享
Flink checkpoint过程
pig2
2019-2-7 20:12
在checkpoint触发时刻,Job Manager会往所有Source的流中放入一个barrier(图中三角形)。barrier包含当前checkpoint的ID flink-checkpoint-02 当barrier经过一个subtask时,即表示当前这个subtask处于checkpoint触发的“时刻”,他就会立即将barrier法往下游,并执行checkpoint方法 ...
663 次阅读
|
0
个评论
分享
Flink operator状态本质是数据结构
pig2
2019-2-7 17:08
Flink operator状态本质是数据结构: 状态:比如我们认为你的状态如何,其实跟这个状态是差不多的。状态好,我们就会非常高兴。这就是状态,Flink的状态是指某个具体的内容的详细记录,而不止是记录结果。 barrier本质是一条记录
682 次阅读
|
0
个评论
分享
Flink1.7独有的时态表详解
pig2
2019-1-24 16:56
问题导读 1.什么是Flink时态表? 2.时态表有什么特点? 3.如何创建时态表? 4.时态表产生的原因是什么? 上一篇彻底明白Flink系统学习27:【Flink1.7】连续查询连接(时态表等) http://www.aboutyun.com/forum.php?mod=viewthreadtid=26650 时态表表示改变的历史记录表上的(参数化)视图的概念, ...
821 次阅读
|
0
个评论
分享
Flink执行流程分解
pig2
2019-1-11 21:29
Flink 的程序内在是并行和分布式的,数据流可以被分区成 stream partitions,operators 被划分为operator subtasks; 这些 subtasks 在不同的机器或容器中分不同的线程独立运行;operator subtasks 的数量在具体的 operator 就是并行计算数,程序不同的 operator 阶段可能有不同的并行数;如下图所示,source operator 的并 ...
690 次阅读
|
0
个评论
分享
Flink内存管理
pig2
2018-11-22 18:21
一、基于JVM的大数据生态圈 1.bigdata on jvm 1.现在大多数开源大数据处理框架都是基于jvm的,像 Apache Hadoop,Apache Spark,Apache Hbase, Apache Kafka,Apache Flink等。 2.JVM上的程序一方面享受着它带来的好处,也要承受着JVM带来的弊端。 2.jvm的弊端 1. ...
2578 次阅读
|
1
个评论
热度
1
分享
Flink自定义一个简单source及mysqlsource实例
pig2
2018-11-21 17:50
1.一个简单的source import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.java.tuple.Tuple; import org.apache.flink.api.java.tuple.Tuple2; import org.apache.flink.streaming.api.datastream.DataStreamSource; import org.apache.flink.streaming.api.datastream.Sin ...
1669 次阅读
|
0
个评论
分享
机器学习中偏差---方差之间的权衡吗?
pig2
2018-9-13 16:39
我认为对偏差 - 方差之间的权衡判读对学习机器学习是非常重要的。那么为什么这么说呢?因为这个现象的背后是所有参数,性能和几乎所有机器学习模型的深层原因。如果你能很深刻的理解这个,我保证你能很好的理解机器学习的每一个模型。 所以,我们就不浪费时间在无聊的介绍中,直接深入挖掘吧。理论讲解可能有一点枯 ...
1440 次阅读
|
0
个评论
分享
Spark详解--场景、概念、组件、实践、案例
pig2
2018-7-24 07:22
问题导读 1.spark有哪些使用场景? 2.spark有包含哪些组件? 3.spark在哪些厂商已经应用? 4.spark如何实现地震检测? Apache Spark是一个用于实时处理的开源集群计算框架。 它是Apache软件基金会中最成功的项目。 Spark已成为大数据处理市场的领导者。 今天,Spark被亚马逊,eBay和雅虎等主要厂 ...
1954 次阅读
|
0
个评论
1
2
3
4
5
6
7
8
9
10
... 28
/ 28 页
下一页
关闭
推荐
/2
中文版ChatGPT
1.无需魔法 2.提高编程效率 3.提高文档能力
查看 »
新手帮助
新手帮助:注册遇到问题,领取资源,加入铁粉群,不会使用搜索,如何获取积分等
查看 »
意见
反馈