about云开发

 找回密码
 立即注册

QQ登录

只需一步,快速开始

扫一扫,访问微社区

about云开发 首页 大数据
订阅

大数据

producer如何发送数据集及副本间是如何复制数据的
Producer向kafka发送消息的步骤:1,一条record过来时,首先根据topic向kafka申请这个topic的元数据,包括topic每个partition存储在哪个broker上(Ip地址端口号)。2,拿到元数据后,根据producer的partioner进行数 ...
分类:    2019-4-29 18:44
Sqoop导出hive表数据测试
最近工作涉及了从hive表---》drds的数据迁移,近期做了一些简单的测试:建表语句如下:hive单表:CREATE TABLE item_zc_test1(num_id string,dp_id string,approve_status string,title string,price string,nick str ...
分类:    2019-4-3 19:10
大数据容器化案例:携程Redis容器化落地的一些实践经验
问题导读 1.Redis使用规模有多少? 2.携程为什么要容器化 3.携程Redis对于能否容器化做了哪些对比? 4.Redis容器化遇到了哪些问题?5.在容器化的时候,有哪些是携程自研的? 携程的Redis使用规模有200T+, ...
分类:    2019-2-25 12:16
彻底明白Hadoop map和reduce的个数决定因素【白话】
问题导读 1.Hadoop 设置map的个数后为什么不生效? 2.map的个数有什么来决定? 3.如何确定分片的大小? 4.reduce个数该如何设置? 5.reduce个数由什么来决定? Hadoop map和reduce的个数设置,困扰了很多 ...
分类:    2018-12-21 12:44
彻底明白Flink系统学习13:【Flink1.7】流连接器介绍及如何添加连接器
问题导读 1.Flink有哪些内置连接器? 2.Flink二进制发布包中是否直接可以使用连接器? 3.如何才能添加连接器? 4.连接器使用有那两种方式添加? 5.连接器添加jar包的方式,如何才能生效? 上一篇: 彻底 ...
分类:    2018-12-19 18:48
彻底明白Flink系统学习12:【Flink1.7】如何控制流物理分区
问题导读 1.如何实现Flink流分区? 2.对于数据倾斜,该使用什么函数实现数据均衡? 3.Rescaling与rebalance有什么区别? 上一篇: 彻底明白Flink系统学习11:【Flink1.7】事件时间、处理时间、提取时间有什 ...
分类:    2018-12-17 12:17
彻底明白Flink系统学习11:【Flink1.7】事件时间、处理时间、提取时间有什么区别
问题导读 1.事件时间、处理时间、提取时间的顺序是什么? 2.事件时间为何需要水印? 3.处理时间是否提取的当前系统的时间? 4.数据到达Flink的时间是什么时间? 上一篇: 彻底明白Flink系统学习10: ...
分类:    2018-12-13 20:25
彻底明白Flink系统学习2:Flink分布式执行包括调度、通信机制、检查点等
问题导读 1.Flink提交到运行程序涉及哪些进程? 2.Flink slot是什么? 3.Job客户端是不是Flink内部部分,它的作用是什么? 4.Flink通信机制是什么? 5.Actor系统包含哪些内容? 关注最新经典文章,欢迎关注 ...
分类:    2018-12-12 20:13
彻底明白Flink系统学习3:编程知识之Flink程序结构
问题导读 1.Flink程序结是什么结构? 2.Flink中source,sink分别是什么意思? 2.Flink数据源有哪些? 3.如何自定义Flink数据源? 4.Flink如何定义Sink? 关注最新经典文章,欢迎关注公众号 上一篇 彻 ...
分类:    2018-12-12 20:13
彻底明白Flink系统学习4:功能点介绍
问题导读 1.为什么说Flink是高性能? 2.什么是Flink状态计算? 3.Flink如何实现容错的? 4.Flink为何要内存管理? 5.Flink中流处理和批处理的关系是什么? 关注最新经典文章,欢迎关注公众号 上一篇: ...
分类:    2018-12-12 20:13
彻底明白Flink系统学习5:window、Linux本地安装Flink
问题导读 1.如何在window下安装Flink? 2.Flink本地安装启动命令与原先版本有什么区别? 3.window和Linux本地启动命令有什么区别? 4.如何查看Flink web ui? 关注最新经典文章,欢迎关注公众号 上一篇: 彻 ...
分类:    2018-12-12 20:13
彻底明白Flink系统学习6:Flink最全最详细集群安装【带有各种说明】
问题导读 1.ssh安装需要注意什么问题? 2.Flink集群配置文件是哪个? 3.Flink常用配置参数的含义是什么? 4.如何具体配置某个taskmanager的内存? 5.如何指定taskmanager? 6.如何指定nodemanager? 7.如何启 ...
分类:    2018-12-12 20:12
彻底明白Flink系统学习7:【最新基于Flink1.7】使用DataStream API进行数据处理
问题导读 1.流处理和批处理分别入口是什么? 2.对于本地和远程运行程序,都可以使用哪个函数? 3.Flink数据源分为哪两类? 4.Flink DataStream和DataSet source都是基于什么格式? 5.Flink中kafka source是否 ...
分类:    2018-12-12 20:12
彻底明白Flink系统学习8:【Flink1.7编程基础】DataStream Transformations介绍
问题导读 1.Flink中Map函数和FlatMap函数有什么区别? 2.如何生成KeyedStream? 3.KeyedStream如何转换为DataStream ? 4.min和minBy之间的差异是什么? 关注最新经典文章,欢迎关注公众号 上一篇 彻底明 ...
分类:    2018-12-12 20:12
彻底明白Flink系统学习9:【Flink1.7编程】数据流Transformations介绍2窗口及相关操作
问题导读 1.为何产生window窗口计算? 2.你认为什么情况下使用Window Apply? 3.Window Fold可以用来做什么? 4.window 流是否可以union和join? 5.DataStream是否可以split? 关注最新经典文章,欢迎关 ...
分类:    2018-12-12 20:11
123下一页

相关分类

关闭

推荐上一条 /3 下一条

QQ|小黑屋|about云开发-学问论坛|社区 ( 京ICP备12023829号

GMT+8, 2019-5-19 19:11 , Processed in 0.144447 second(s), 15 queries , Gzip On.

Powered by Discuz! X3.2 Licensed

返回顶部